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内 容 简 介 


本 书 对 计算 智能 领域 的 主要 算法 进行 介绍 ,重点 讨论 各 种 算法 的 思想 来 源流 程 结 构 发 展 改 进 、 参 
数 设置 和 相关 应 用 ,内 容 包括 绪 论 以 及 神经 网 络 .模糊 逻辑 .遗传 算法 、 蚁 群 优 化 算法 、 粒 子 群 优化 算法 、 
免疫 算法 .分布 估计 算法 、Memetic 算法 、 模 拟 退 火 算 法 和 禁忌 搜索 算法 等 计算 智能 领域 的 典型 算法 。 
本 书 通俗 易 懂 ,图文并茂 ,深入 浅 出 ,没有 其 他 算法 书 中 大 量 公 式 、 定 理 ,. 证 明 等 难 懂 的 内 容 , 而 是 通过 大 
量 的 图 表示 例 对 各 个 算法 进行 说 明和 介绍 。 本 书 不 但 提供 了 算法 实现 的 流程 图 和 伪 代 码 , 而 且 通 过 具 
体 的 应 用 举例 对 算法 的 使 用 方法 和 使 用 过 程 进行 说 明 , 同 时 提供 了 大 量 经 典 而 重要 的 参考 资料 ,为 读者 
进一步 深入 学 习 和 理解 算法 提供 方便 。 

本 书 适 合作 为 相关 专业 本 科 生 和 研究 生 的 选修 课 教材 ,特别 适合 作为 人 门 教材 以 满足 算法 初学 者 
了 解 和 学 习 计 算 智 能 算法 的 人 门 需求 ,同时 还 能 够 作为 广大 算法 研究 者 和 工程 技术 人 员 进 一 步 学 习 的 
参考 书 和 工具 书 。 
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普通 高 校本 科 计 算 机 专业 


计算 机 问世 以 来 , 人 工 智能 (Artificial Intelligence, Al) 一 直 是 计算 机 
科学 家 追求 的 目标 之 一 。 作为 人 工 智能 的 一 个 重要 领域 , 计算 智 
能 (Computational Intelligence, CI) 因 其 智能 性 、 并 行 性 和 健壮 性 , 具有 很 好 
的 自 适 应 能 力 和 很 强 的 全 局 搜索 能 力 , 得 到 了 众多 研究 者 的 广泛 关注 , A 
前 已 经 在 算法 理论 和 算法 性 能 方面 取得 了 很 多 突破 性 的 进展 , 并 且 已 经 被 
广泛 应 用 于 各 种 领域 , 在 科学 研究 和 生产 实践 中 发 挥 着 重要 的 作用 。 
计算 智能 是 受到 大 自然 智慧 和 人 类 智慧 的 启发 而 设计 出 的 一 类 算法 
的 统称 。 随 着 技术 的 进步 , 在 科学 研究 和 工程 实践 中 遇 到 的 问题 变 得 越 
来 越 复杂 , 采用 传统 的 计算 方法 来 解决 这 些 问题 面临 着 计算 复杂 度 高 、 计 
算 时 间 长 等 问题 , 特别 是 对 于 一 些 NP (Non- deterministic Polynomial ) 难 问 
题 , 传统 算法 根本 无 法 在 可 以 忍受 的 时 间 内 求 出 精确 的 解 。 因此 , 为 了 在 
求解 时 间 和 求解 精度 上 取得 平衡 , 计算 机 科学 家 提出 了 很 多 具有 启发 式 特 
征 的 计算 智能 算法 。 这 些 算法 或 模仿 生物 界 的 进化 过 程 , 或 模仿 生物 的 
生理 构造 和 身体 机 能 , 或 模仿 动物 的 群体 行为 , 或 模仿 人 类 的 思维 、 语 言 
和 记忆 过 程 的 特性 , 或 模仿 自然 界 的 物理 现象 , 希望 通过 模拟 大 自然 和 人 
类 的 智慧 实现 对 问题 的 优化 求解 , 在 可 接受 的 时 间 内 求解 出 可 以 接受 的 
解 。 这 些 算 法 共同 组 成 了 计算 智能 优化 算法 。 
目前 , 计算 智能 算法 在 国内 外 得 到 广泛 的 关注 , 已 经 成 为 人 工 智 能 以 
及 计算 机 科学 的 重要 研究 方向 。 计算 智能 还 处 于 不 断 发 展 和 完善 的 过 
程 , 目前 还 没有 牢固 的 数学 基础 , 国内 外 众多 研究 者 也 是 在 不 断 的 探索 中 
前 进 。 计算 智能 技术 在 自身 性 能 的 提高 和 应 用 范围 的 拓展 中 不 断 完 善 。 
计算 智能 的 研究 、 发 展 与 应 用 , 无论 是 研究 队伍 的 规模 、 发 表 的 论文 数 
量 , 还 是 网 上 的 信息 资源 , 发 展 速 度 都 很 快 , 已 经 得 到 了 国际 学 术 界 的 广 
ZAT, 并 且 在 优化 计算 、 模 式 识别 、 图 像 处 理 、 自 动 控 制 、 经 济 管理 、 机 
械 工 程 、 电 气 工程 、 通 信和 网 络 和 生物 医学 等 多 个 领域 取得 了 成 功 的 应 用 ， 
应 用 领域 涉及 国防 、 科 技 、 经 济 、 工 业 和 农业 等 各 个 方面 。 相 关 的 国际 会 
议和 学 术 期 刊 为 计算 智能 的 研究 提供 了 良好 的 学 术 环 境 和 研究 氛围 。 1994 年 , IEEE 神经 
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网 络 委 员 会 主持 召开 了 第 一 届 进 化 计算 国际 会 议 , 并 成 立 了 IEEE 进化 计算 委员 会 , 此 会 
议 每 2 年 与 EE 神经 网 络 国际 会 议 、IEEE 模糊 系统 国际 会 议 在 同一 地 点 先后 连续 举行 ， 
BRA IEEE 计算 智能 国际 会 议 。 认识 、 了 解 和 学 习 计算 智能 算法 已 经 成 为 广大 理工 科大 
学 生 和 研究 生 的 迫切 需要 ; 掌握 计算 智能 相关 算法 的 基本 知识 , 熟练 地 运用 这 些 算 法 去 
解决 实际 应 用 中 遇 到 的 问题 , 也 已 经 成 为 广大 科学 工作 者 和 工程 技术 人 员 的 必 备 技能 。 

本 书 介 绍 典型 的 计算 智能 方法 , 重点 讨论 各 种 算法 的 思想 来 产 、 流 程 结 构 、 发 展 改 
进 、 参 数 设 置 和 相关 应 用 , 内 容 共 分 10 章 。 第 1 章 是 绪论 , 主要 是 对 计算 智能 一 些 背 景 
知识 及 其 分 类 与 理论 、 研 究 与 发 展 、 特 征 与 应 用 等 进行 概要 介绍 ; 第 2 章 介绍 神经 网 络 

(Neural Network, NN) ; 第 3 章 介绍 模糊 逻辑 (Fuzzy Logic, FL); 第 4 章 介 绍 遗 传 算法 (Genetic 
Algorithm, GA); 第 5 章 介绍 蚁 群 优 化 算法 (Ant Colony Optimization, ACO); 第 6 章 介 绍 粒子 群 
优化 算法 (Particle Swarm Optimization, PSO); 第 7 章 介绍 免疫 算法 (Immune Algorithm, IA); 第 
8 章 介 绍 分 布 估计 算法 (Estimation of Distribution Algorithm, EDA); 第 9 章 介绍 Memetic 算法 

(Memetic Algorithm, MA) ; 第 10 章 介绍 模拟 退火 (Simulated Annealing, SA) 以 及 禁忌 搜索 (Ta- 
bu Search, TS) 算法 。 

计算 智能 算法 本 身 是 对 自然 界 智 慧 和 人 类 智慧 的 模仿 , 其 思想 来 源 和 基本 原理 本 来 
Phe SRR, 因此 本 书 在 对 各 种 算法 进行 介绍 的 时 候 , 力求 做 到 通俗 易 懂 ， 
AMHR, RARE. 本 书 的 每 一 章 都 以 生动 的 图 示 开 头 , 尝试 用 最 直观 、 最 通俗 的 形 
式 去 展示 各 种 算法 的 思想 原理 和 基本 特征 , 有 助 于 读者 快速 、 形 象 、 深 刻 地 对 算法 进行 
认识 和 把 握 。 在 叙述 的 过 程 中 , 本 书 没 有 其 他 算法 书 中 大 量 公 式 、 定 理 、 证 明 等 难 懂 的 
AA, 而 是 通过 大 量 的 图 表示 例 对 各 个 算法 的 思想 来 源 、 流程 结构 、 发 展 改 进 、 参 数 设 
置 和 相关 应 用 等 方面 进行 说 明和 介绍 , 不 但 提供 了 算法 实现 的 流程 图 和 伪 代 码 , 而 且 通 
过 具体 的 应 用 举例 对 算法 的 使 用 方法 和 使 用 过 程 进行 说 明 , 同时 提供 了 大 量 经 典 而 重要 
的 参考 资料 , 为 读者 进一步 深入 学 习 和 理解 算法 提供 方便 。 本 书 的 部 分 插图 来 源 于 网 
络 的 自由 资源 和 Microsoft Office 软件 提供 的 剪贴 板 画 , 我 们 对 此 表示 感谢 。 

本 书 编写 的 分 工 如 下 : 中 山大 学 的 张 军 教授 负责 全 书 的 编写 与 统 稿 工作 , SRS 
与 编写 了 第 1.2.6 103, 陈 需 参与 编写 了 第 3 章 , 许 瑞 填 参与 编写 了 第 4 章 , RARE 
与 编写 了 第 5 章 , 官 兆 参与 编号 了 第 7 章 , 钟 竞 辉 参与 编写 了 第 8 章 , 陈 伟 能 参与 编写 了 
第 9 章 。 

由 于 编者 水 平 有 限 , 书 中 难免 存在 错误 或 疏漏 之 处 , 希望 广大 读者 批评 指正 。 


KÆ 
2009 Œ 6 H 
于 中 山大 学 


SLNHLNOO 


最 优化 问题 pp 
LLI BADHE reser eee 
LLS SA, eee ree 
计算 复杂 性 及 NP 理论 .oo 


i a | 


Lae 


| es 


1.4 


普通 高 校本 科 计 算 机 专业 


1.2.2 NP 理论 … 


智能 优化 计算 方法 : 计算 智能 算法 > ee 
isi HOPES ween 
1.3.2 计算 智能 的 研究 与 发 展 ee 


1.3.3 计算 智能 的 特征 与 应 用 … 
7 rei 


本 章 参 考 文献 … 


神经 网 络 简介 iene ey T ewe die enebed eexGundaensenseenn neeneawae axe 
本 了 
的 证 究 庄 民 
Eni BED e 
和 
人 
19s ARENE ww 
神经 网 络 的 学 习 算 法 EPO OE E E 
OU ee ee ee eee eee 
a 


2. 1 


2.2 


2. 3 


教材 精 选 


ON DO A F&F WwW wD 


. 
p=  — pa 
— — © 


Do N NN e = e = SF | | S| = 
= Oo o oOo VO o oo N N A A A Co 


计算 智能 


和 二 a sae tere een orca cemeteries eran 
2.7 本 童 习题 


第 3 章 模糊 逻辑 - 


3.1 Be AE H Thy dP 


3.1.1 模糊 逻辑 的 基本 原理 . ER 
3.1.2 ”模糊 逻辑 与 模糊 系统 的 发 展 历程 pe 


3.2 模糊 集合 与 模糊 逻辑 … 


3.2.1 模糊 集合 


与 隶属 度 果 数 ， 


3.2.2 模糊 集合 上 的 运算 - 


3.2.3 模糊 逻辑 - 


3.2.4 模糊 关系 及 其 合成 运算 


3.3 ”模糊 逻辑 推理 … 
3.3.1 模糊 规则 、 


te Ai? 


3.3.2 模糊 推理 ------- 


4.3 ”遗传 算法 的 改进 


OE etree 
4.1 遗传 算法 简介 
TT Sere nee ES 


23 
23 
24 
29 
27 
27 
30 
30 


eo 33 
ee 34 
… 34 


39 


-- 36 
.. 36 
* Oo 
-- 40 
oe i | 


42 


45 
46 
46 
48 
20 
20 


93 
54 
34 
of 
38 
38 
63 


65 
66 


4,4 


4.5 


第 $ 章 = 27! A pp 
二 本 
1 本 
蚁 群 优 化 算法 的 基本 流程 ………………… TTETIETTTTTETTETTTTTETTETTETTETTTTTETTETTETT 
W S y T 
5.2.2 应 用 举例 
蚁 群 优化 算法 的 改进 版 本 ………… cee cee cee cee cee eee eee cee cae cee cee eee een cee cen eneens 


5.1 


9.2 


9.3 


o. 4 
9.9 
3.6 


下 
4. 3.4 并行 遗传 算法 
i :RO EC 
AO RN 
OE SE ON 


5.3.1 精华 蚂蚁 系统 - 


5.3.2 基于 排列 的 蚂蚁 系统 - 


5.3.3 最 大 最 小 蚂蚁 系统 - 
5.3.4 WRR …… 


i 


蚁 群 优 化 算法 的 相关 应 用 … 


蚁 群 优化 算法 的 参数 设置 … ep eR EE A E 


本 草 习 题 - 


本 章 参 考 文献 … 


粒子 群 优化 算法 简介 pp 
6.1.1 eie S EEEIEE 
粒子 群 优 化 算法 的 基本 流程 pp 
6.2.1 基本 流程 :ppp 
Ee 
粒子 群 优化 算法 的 改进 研究 ppp 
Esi Ee a Ey eee ne SE eee 
EO eee 
本 
要: 是 
了 
6.4.1 优化 与 设计 应 用 .ppp 


6.1 


6.2 


6.3 


6.4 


We 计算 各 


6.5 


6.6 


能 


要 
123 


“2 
124 


6.4.3 其 他 方面 的 应 用 … 
粒子 群 优化 算法 的 参数 设置 . 
本 曹 习题 ， 


本 章 参 考 文献 … 


is eee ee a ee eres 
“= 132 
oe TETE EE TEE ETETETT 132 
To 1.2 SIE BE A EA E Sh ae ona con coe cee ces ccc cescetces coveneeeeses ses ene 
We -- 134 
-- 137 
了 137 
:i A eria eaa EEEN es 
Fenders … 141 


y N 


te 


7.3 


1.4 


1.95 


| 
ew nT Gee ces on preva nea ean poe er doe cane ere earn ane 
.二 区 a aE RA 
E anane AEE ci nin E E E 
Ew 
人 人 和 的 及 耸 研究 
8. 3.2 pe 


8. | 


8. 2 


8.3 


he HE HK I 
7.1.1 思想 来 源 … 


7.1.3 二 进 制 模型 … 
免疫 算法 的 基本 流程 - 
7.2.1 基本 流程 … 


常用 免疫 算法 . 
7.3.1 负 选 择 算 法 … 


122 


°° 125 


131 


133 


139 


| 
7.3.2 克隆 选择 算法 .pp 

7.3.3 免疫 算法 和 进化 计算 .pp 
免疫 算法 的 相关 应 用 
7.4.1 识别 和 分 类 应 用 ……………………… eeerereeee 
A OETA RR A 
:DRO 
本 音 习 题 pp 


142 
146 
148 
148 
148 
149 
149 
150 


155 
156 
156 
157 
158 
158 
160 
161 
161 
166 
167 
169 


8. 4 
8.95 


Be Digan Brash vd: Mer EL rer ee 
7 二 
rE E A 


第 9 章 Memetic 算法 .pp 
WE 
Memaic Me ee om nn oer aan 
静态 Memetic 算法 Ee ET Gad uee ees tex 
9. 3.1 JARRE RWI RE eetere tenes eer eetere eee eee eee anes 
9.3.2 Lamarckian 模式 和 Baldwinian 模式 ppp 
动态 Memetic 算法 pp 
- 183 
9.4.2 Meta-Lamarckian 学 习 型 MA ee 
- 186 
- 187 
Memetic AA AY 3H O 55 Ii FDRG BRB ono ooo one concen Om 


| 
9.2 
9.3 


9.95 


9.6 


第 10 章 


10. 1 


10.2 


10. 3 


9.4.1 动态 MA 的 简介 与 分 类 


9.4.3 HRA MA 
9.4.4 协同 进化 MA 


模拟 退火 与 禁忌 搜索 pp 
i 考 本 流程 
和 
AE a: sea et peer A eens 
AS BE SY Ul eee eee cee cee cee ee eee e eee cee cee cee cee eee cee cee ces ceeceeeen senses ceseeseeeeee see ces 
yO 


172 


178 


182 
182 
183 
183 


185 


189 
190 
191 


195 
196 
196 
198 
200 
201 
201 
203 
204 
206 
206 


209 


普通 高 校本 科 计 算 机 专业 


在 很 多 情况 下 ， 这 些 
都 是 非常 难 解 的 问题 。 


在 生产 实践 、 科 学 研究 、 经 济 官 理 、 
日 剃 生 活 中 ， 我 们 经 常会 遇 到 形形色色 
的 最 优化 问题 。 
例如 要 在 最 短 的 时 间 内 完成 最 多 
的 工作 量 ; 要 用 更 少 的 资源 完成 更 多 
的 任务 ; 要 合理 安排 每 一 项 工作 使 得 
效益 最 大 
面 对 这 种 组 合 爆炸 的 最 优化 问题 ， 
传统 方法 的 求解 速度 太 慢 ,怎么 办 ? 
在 这 种 情况 下 ,我 们 可 以 尝试 使 
用 计算 智能 优化 方法 ,对 这 些 难 解 问 
” 题 进行 优化 求解 。 以 求 在 可 以 接受 的 
时 间 内 得 到 令 人 满意 的 求解 结果。 


计算 智能 (Computational Intelligence, CD 方法 主要 包括 : 
。 佣 经 网 络 (Neural Network, NN); 
-e HERZ $H (Fuzzy Logic, FL); 
eE FLY (Genetic Algorithm, GA); 
以 群 优化 算法 (Ant Colony Optimization , ACO): 
eh REMY BE (Particle Swarm Optimization , PSO); 
e fat Ea (Immune Algorithm, TA); 
。 分布 估 计算 法 (Estimation of Distribution Algorithm, EDA); 
e Memetic 算法 (Memetic Algorithm, MA); 
模拟 退火 (Simulated Annealing, SA); 
o #£= HZ (Tabu Search, TS). 
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随 着 技术 的 进步 ,在 工程 实践 中 遇 到 的 问题 变 得 越 来 越 复 杂 , 采 用 传统 的 计算 方法 来 
解决 这 些 问 题 面临 着 计算 复杂 度 高 .计算 时 间 长 等 问题 ,特别 是 对 于 一 些 NP Non- 
deterministic Polynomial) 难 问题 ,传统 算法 根本 无 法 在 可 以 忍受 的 时 间 内 求 出 精确 的 
解 。 因 此 ,为 了 在 求解 时 间 和 求解 精度 上 取得 平衡 ,计算 机 科学 家 们 提出 了 很 多 具有 局 发 
式 特征 的 计算 智能 方法 。 这 些 算 法 或 模仿 生物 界 的 进化 过 程 , 或 模仿 生物 的 生理 构造 和 
身体 机 能 ,或 模仿 动物 的 群体 行为 ,或 模仿 人 类 的 思维 .语言 和 记忆 过 程 的 特性 ,或 模仿 目 
然 界 的 物理 现象 , 硕 望 通过 模拟 大 上 自然 和 人 类 的 智慧 实现 对 问题 的 优化 求解 ,在 可 接受 的 
时 间 内 求解 出 可 以 接受 的 解 。 这些 算 法 共同 组 成 了 计算 智能 优化 算法 。 计 算 智 能 因 其 乱 
能 性 、 并 行 性 和 健壮 性 ,具有 很 好 的 自 适应 性 和 很 强 的 全 局 搜索 能 力 , 得 到 了 众多 人 研究 者 
的 广泛 关注 ,已 经 在 算法 理论 和 算法 性 能 方面 取得 了 很 多 突破 性 的 进展 ,而 且 已 经 被 广泛 
应 用 于 各 种 领域 ,在 科学 人 研究 和 生产 实践 中 发 挥 着 重要 的 作用 。 

本 草 是 绪论 ,目的 是 给 读者 展现 计算 智能 算法 的 整体 面貌 。 本 划 将 从 计算 智能 算法 
的 分 类 与 理论 、 人 研究 与 发 展 ,以 及 特征 与 应 用 等 几 个 方面 进行 介绍 ,使 读者 对 整个 计算 智 
能 领域 有 一 个 初步 的 认识 和 了 解 。 计 算 智 能 算法 主要 包括 模糊 逻辑 .神经 网 络 . 遗传 算 
法 、 蚊 群 优化 算法 .粒子 群 优 化 算法 .免疫 算法 .分布 估计 算法 .Memetic 算法 模拟 退火 算 
法 和 禁忌 搜索 算法 等 ,我 们 将 在 后 面 的 章节 对 每 个 算法 进行 深入 学 习 。 本 章 的 具体 内 容 
如 下 。 

(1) 最 优化 问题 。 

(2) 计算 复杂 性 及 NP 理论 。 

(3) 智能 优化 计算 方法 : 
计算 智能 方法 ; 
计算 智能 的 分 类 与 理论 ; 
计算 智能 的 俩 究 与 发 展 ; 
计算 智能 的 特征 与 应 用 。 


1.1 最 优化 问题 


最 优化 问题 是 人 们 在 科学 研究 和 生产 实践 中 经 常 遇 到 的 问题 1。 人 类 所 从 事 的 一 
切 生 产 或 社会 活动 均 是 有 目的 的 ,其 行为 总 是 在 特定 的 价值 观念 或 审美 取 回 的 文 配 下 进 
行 的 ,因此 经 稼 面临 求解 一 个 可 行 的 甚至 是 最 优 的 方案 的 决策 问题 ,这 就 是 所 谓 的 最 优化 
jo) #2 (Optimization Problem) 。 

最 优化 问题 的 求解 模型 如 公式 (1.1) 所 示 。 

min FX); XED (1.1) 

其 中 D 是 问题 的 解 空 间 ,X 是 D 中 的 一 个 合法 解 。 一 般 可 将 X 表示 为 X= (zi ,zs，…， 
ZX,) ,表示 一 组 决策 变量 。 最 优化 问题 就 是 在 解 空间 中 寻找 一 个 合法 的 解 X( 一 组 最 佳 的 
决策 变量 ) ,使 得 X 对 应 的 函数 映射 值 /(X) 最 小 (最 大 )， 

根据 决策 变量 zx; 的 取 值 类 型 ,可 以 将 最 优化 问题 分 为 函数 优化 问题 和 组 合 优化 问题 
两 大 类 。 我 们 称 决 策 变量 均 为 连续 变量 的 最 优化 问题 为 函数 优化 问题 ; 硅 一 个 最 优化 问 
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题 的 全 部 决策 变量 均 离 散 取 值 , 则 称 为 组 合 优 化 问题 。 当 然 , 也 有 许多 应 用 问题 的 数学 模 
型 表现 为 混合 类 型 , 即 模型 的 部 分 决策 变量 为 连续 型 ,部 分 决策 变量 为 离散 型 。 此 外 , 根 
据 最 优化 问题 中 的 变量 约束、 目标 、 问题 性 质 . 时间 因素 和 图 数 关 系 等 不 同情 况 ,最 优化 
问题 还 可 以 分 成 多 种 类 型 ,如 表 1. 1 所 示 。 

表 1.1 最 优化 问题 的 分 类 


« [aan | an | wen 
fae 


1.1.1 函数 优化 问题 


国 数 优化 问题 对 应 的 决策 变量 均 为 连续 变量 ,如 图 1. 1 所 示 ,优化 问题 了 的 目标 晒 数 
值 取决 于 其 对 应 的 连续 变量 Ti s X29Tn 的 取 值 。 


很 多 科学 实验 参数 配置 和 工农 业 生产 实践 都 上 
面临 这 种 类 型 的 最 优化 问题 。 例 如 在 设计 神经 网 
络 的 过 程 中 ,需要 确定 神经 元 节点 间 的 网 络 连接 权 L 
重 , 从 而 使 得 网 络 性 能 达到 最 优 。 在 这 种 问题 中 ， 


ma Ze VG AS ZE TE AS BUE ee HE A JE BE DK Va] AY EL. 2 


Minimize f 


一 个 实数 。 各 个 决策 变量 之 间 可 能 是 独立 的 ,也 可 图 1.1 函数 优化 问题 

能 是 相互 关联 、 相 互 制约 的 ,它们 的 取 值 组 合 构 成 

了 问题 的 一 个 解 。 由 于 决策 变量 是 连续 值 , 因 此 对 每 个 变量 进行 枚 举 是 不 可 能 的 。 在 这 
种 情况 下 ,必须 借助 最 优化 方法 对 问题 进行 求解 。 


1.1.2 组合 优化 问题 


和 困 数 优化 问题 不 同 ,组合 优化 问题 的 决策 变量 是 离散 取 什 的 ,例如 整数 规划 问题 、 
0-1 规划 问题 等 。 很 多 离散 组 合 优化 问题 都 是 从 运筹 学 (Operations Research,OR) 中 演 
化 出 来 的 ,其 所 研究 的 问题 涉及 信息 技术 、 经 济 管理 .工业 工程 、 交 通 运输 .通信 网 络 等 众 
多 领域 ,在 科学 研究 和 生产 实践 中 都 起 着 重要 的 作用 。 

典型 的 组 合 优 化 问题 包括 旅行 商 问 题 (Traveling Salesman Problem, TSP) All 0-1 背 
包 问 题 (Zero/One Knapsack Problem,ZKP/0-1KP/KP)。 这 两 个 问题 分 别 是 一 种 基于 排 
序 的 组 合 优化 问题 和 一 种 基于 二 进 制 取 值 的 组 合 优化 问题 ,代表 了 组 合 优 化 问题 的 两 种 
重要 类 型 。 定 义 1.1 和 定义 1.2 分 别 给 出 了 这 两 个 问题 的 描述 以 及 最 优化 模型 。 

定义 1.1 旅行 商 问题 (Traveling Salesman Problem, TSP) 

设 有 ?7 个 城市 ,任意 两 个 城市 之 间 的 距离 如 矩阵 D = Cdi nxn ivf = 1.2.0.) AN 
其 中 d, 表示 从 城市 i ee 的 距离 。 旅 行商 问题 就 是 需要 寻找 这 样 的 一 种 周游 方案 : 
周游 路 线 从 某 个 城市 开始 ,经 过 每 个 城市 一 次 且 仅 一 次 ,最 终 回 到 出 发 城市 ,使 得 周游 的 
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路 线 总 长 度 最 短 。 数 学 化 之 后 就 是 求解 如 公式 (1. 2) 所 示 的 一 个 最 小 值 问 题 。 
f = min > duosin (1.2) 


其 中 Gi) dean Jed vee PR i PTH A aS ,而且 有 r(z 十 1) 一 r(1)。 

一 般 的 旅行 商 问题 都 是 对 称 旅行 商 问题 CSymmetrical TSP,STSP), 即 对 任意 isj A 
dj 二 di ;反之 ,如 果 存 在 某 组 ij 使 得 d; 关 4d; 而 且 i 关 j, 则 称 为 非 对 称 旅行 商 问 题 
(Asymmetrical TSP, ATSP). 

定义 1.2 0-1 背包 问题 (Zero/One Knapsack Problem,ZKP/0-1KP/KP) 

给 定 一 个 装载 量 为 c 的 背包 和 nn 个 重量 与 价值 分 别 为 ww Mo: 的 物品 (1 过; 过 2) 。 现 
要 往 背 包 放 物品 ,在 不 超过 背包 装载 量 的 条 件 下 使 装载 物品 的 总 价值 最 大 。 数 学 化 之 后 
就 是 求解 如 下 的 一 个 带 约 束 条 件 的 最 大 值 问 题 。 


az = max Suri 其 中 r; € {0,1} 
oo (1.3) 
且 满 足 限制 条 件 >》) wiz: <c 
j=] 


其 中 xz; 表示 物品 的 选择 情况 ,zi 二 1 代表 选择 第 i 个 物品 ,zx; 二 0 表示 不 选择 。 

从 定义 1.1 可 以 看 出 ,对 于 一 个 城市 的 对 称 TSP, 如 果 通 过 枚 举 的 方法 ,将 会 产生 
(n 一 1)! 个 可 能 解 ; 而 定义 1.2 则 反映 了 面 对 一 个 需要 处 理 n 个 物品 的 背包 问题 ,如 有 果 采 
用 枚 举 的 方法 确定 对 某 个 物品 的 取舍 , 那 将 会 产生 2" 个 解 。 无 论 是 (n 一 1)! 还 是 2”, 它 
们 都 可 以 看 作 是 规模 n 的 指数 函数 , 当 n 比较 大 的 时 候 , 我 们 所 面 对 的 将 是 非常 庞大 的 解 
空间 。 因 此 , 枚 举 的 方法 只 能 处 理 一 些小 规模 的 组 合 优化 问题 。 对 于 大 规模 问题 ,我 们 通 
过 借助 智能 优化 计算 方法 ,可 以 在 合理 的 时 间 内 求解 得 到 令 人 满意 的 解 ,从 而 满足 实践 的 


需要 。 
1.2 计算 复杂 性 及 NP 理论 


1.2.1 计算 复杂 性 


一 般 而 言 ,最 优化 问题 都 是 一 些 “ 难 解 ” 的 问题 。 以 前 面 给 出 的 旅行 商 问 题 和 0-1 
背包 问题 为 例 ,虽然 它们 的 定义 非常 便 单 易 履 , 但 是 需要 为 它们 寻找 到 一 个 全 局 最 优 
解 并 不 是 一 件 容 易 的 事情 。 直 观 地 看 ,旅行 商 问 题 就 是 个 城市 的 一 个 排序 问题 ,如 果 
使 用 蛮 力 法 去 枚 举 ,我 们 需要 进行 (n 一 1)! 次 的 枚 举 ;0-1 背包 问题 就 是 一 个 nn 位 二 进 
制 的 0、1 取 值 问题 ,0 表示 不 选择 ,1 表示 选择 ,因此 有 2” 种 可 能 。 可 见 , 仅 当 问 题 的 规 
模 比 较 小 (n 较 小 ) 的 时 候 , 枚 淮 的 方法 才 是 可 能 的 。 由 于 问题 的 解 空 间 随 看 规模 的 增 
大 而 呈 指 数 级 增长 ,因此 ,我 们 需要 寻找 其 他 有 效 而 且 高 效 的 算法 去 解决 这 类 问题 的 
大 规模 实例 。 

在 计算 机 科学 中 ,我 们 常用 计算 复杂 性 (Computational Complexity) 这 个 概念 来 描 
述 问 题 的 难 易 程 度 或 者 算法 的 执行 效率 。 对 于 算法 的 计算 复杂 性 ,我 们 一 般 很 容易 
进行 判断 ,例如 使 用 蛮 力 法 去 枚 举 旅行 商 问题 或 者 0-1 背包 问题 的 算法 ,就 是 具有 指数 
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计算 复杂 性 的 算法 。 但 是 ,要 对 一 个 问题 的 计算 复杂 性 进行 判断 就 不 是 一 件 简单 的 事 
情 了 。 

问题 的 计算 复杂 性 是 问题 规模 的 图 数 , 故 需要 首先 定义 问题 的 规模 。 例 如 对 于 矩阵 
运算 ,矩阵 的 阶 数 可 被 定义 为 问题 的 规模 。 如 果 求 解 一 个 问题 需要 的 运算 次 数 或 步骤 数 
是 问题 规模 的 指数 也 数 , 则 称 该 问题 有 指数 时 间 复 杂 性 ;如 果 所 需 的 运算 次 数 是 nn 的 多 
项 式 消 数 , 则 称 它 有 和 多项式 时 间 复 杂 性 。 对 于 某 个 具体 问题 ,其 复杂 性 上 界 是 已 知 求解 该 
问题 的 最 快 算法 的 复杂 性 ,而 复杂 性 下 界 只 能 通过 理论 证 明 来 建立 。 证 明 一 个 问题 的 复 
杂 性 下 界 需 要 证 明 不 存在 任何 复杂 性 低 于 下 界 的 算法 。 显 然 , 建 立 下 界 要 比 确定 上 界 困 
难得 多 。 

例如 , 蛮 力 枚 举 算 法 作为 求解 旅行 商 问 题 和 0-1 背包 问题 的 一 种 算法 ,算法 是 指数 
复杂 性 的 (阶乘 往往 比 指数 的 复杂 性 更 高 ), 因 此 ,这 两 个 问题 的 复杂 性 上 界 都 是 指数 
的 。 那 么 ,是 否 存 在 一 种 多 项 式 复 杂 性 的 算法 对 这 两 个 问题 进行 求解 呢 ? 到 目前 为 
止 ,还 没有 找到 ,但 是 还 不 能 证 明 其 不 存在 。 大 多 数 计算 机 科学 家 都 认为 ,这 些 问 题 是 
不 存在 多 项 式 复 杂 性 的 求解 算法 的 。 对 于 这 些 问 题 ,习惯 称 为 NP 难 (Non-deterministic 
Polynomial Hard, NPH) 问题 ,或 者 NP 完全 (Non-deterministic Polynomial Complete, 
NPC) 问 题 。 

从 发 展 趋势 来 看 ,计算 复杂 性 理论 将 深入 到 计算 机 科学 的 各 个 分 文中 去 。 计 算 机 科 
学 的 发 展 , 特 别 是 新 一 代 计 算 机 系统 和 人 工 智 能 的 全 究 ,又 会 给 计算 复杂 性 理论 提出 许多 
新 的 课题 。 计 算 复 杂 性 理论 .描述 复杂 性 理论 信息论. 数理 逻辑 等 学 科 将 有 可 能 更 紧密 
地 结合 ,得 到 有 关 信 息 加 工 或 信息 活动 的 一 些 深刻 结论 。 


1.2.2 NP 理论 


为 了 更 好 地 研究 问题 的 计算 复杂 性 ,计算 机 科学 家 提出 了 有 关 NP 的 理论 已 。 下 面 
对 P 类 问题 ,NP 类 问题 ,NP 难 问题 和 NP 完全 问题 进行 定义 和 解释 。 

为 了 便 化 问题 ,我 们 只 考虑 一 类 简单 的 问题 一 一 判定 性 问题 , 即 提出 一 个 问题 ,只 需 
要 回答 “是 ”或 者 “ 否 ” 的 问题 。 任 何 一 般 的 最 优化 问题 都 可 以 转化 为 一 系列 判定 性 问题 ， 
例如 求 某 个 图 中 从 A 到 B 的 最 短路 径 , 可 以 转化 成 : 从 A 到 B 是 否 有 长 度 为 1 WERE? 
从 A 到 B 是 否 有 长 度 为 2 的 路 径 ? 一 直 问 到 从 A 到 B 是 否 有 长 度 为 k 的 路 径 ? 如 果 问 
到 了 & 的 时候 回 答 了 “是 ”, 则 仿 止 发 问 ,我 们 可 以 说 从 A 到 B 的 最 短路 径 就 是 A。 

定义 1.3 P 类 问题 (Polynomial Problem) 

P 类 问题 是 指 一 类 能 够 用 确定 性 算法 在 多 项 式 时 间 内 求解 的 判定 问题 。 其 实 , 在 非 
正式 的 定义 中 ,可 以 把 那些 在 多 项 式 时 间 内 求解 的 问题 当做 P 类 问题 。 

为 了 定义 NP 类 问题 ,首先 要 引入 一 个 不 确定 性 算法 (Non-deterministic Algorithm) 
的 概念 。 

定义 1.4 不 确定 性 算法 (Non-deterministic Algorithm) 

一 个 不 确定 性 算法 包含 两 个 阶段 , 它 把 一 个 判定 问题 的 实例 7 作为 它 的 输入 ,并 进行 
如 下 的 两 步 操作 。 

(1) 非 确定 (“猜测”) 阶段 : 生产 一 个 任意 串 $ ,把 它 当 做 给 定 实例 7 的 一 个 候选 解 。 
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(2) 确定 (“验证 ”) 阶 段 : 确定 算法 将 1 和 S 作为 它 的 输入 ,如 果 S 是 7 的 一 个 解 的 
话 , 则 输出 “是 ”。 
如 果 一 个 不 确定 算法 在 验证 阶段 的 时 间 复 杂 度 是 多 项 式 级 别 的 ,我 们 称 它 为 不 确定 
性 多 项 式 算法 。 
现在 ,可 以 定义 NP 类 问题 了 ,如 定义 1.5 所 示 。 
定义 1.5 NP 类 问题 (Non-deterministic Polynomial Problem) 
NP 类 问题 是 指 一 类 可 以 用 不 确定 性 多 项 式 算 法 求解 的 判定 问题 。 例 如 旅行 商 问题 
的 判定 版 本 就 是 一 个 NP 类 问题 。 虽 然 还 不 能 找到 一 个 多 项 式 的 确定 性 算法 求解 最 小 的 
周游 路 线 ,但 是 可 以 在 一 个 多 项 式 时 间 内 对 任意 生成 的 一 条 路线? 判定 是 否 合法 (经 过 每 
个 城市 一 次 且 仅仅 一 次 )。 
比较 P 类 问题 和 NP 类 问题 的 定义 ,我 们 很 容易 得 到 一 个 结论 : P 忆 NP。 但 是 ， 
P=NP 是 否 成 立 , 至 今 还 是 计算 机 科学 中 的 一 个 未 解 之 诬 。 不 过 ,由 于 类 似 旅 行商 问题 
和 0-1 背包 问题 这 种 难度 很 高 的 组 合 判定 问题 的 存在 ,人 们 更 倾向 于 相信 了 是 不 等 于 NP 
的 ,也 就 是 说 ,NP 类 问题 除了 P 类 问题 之 外 ,还 包含 一 种 问题 ,我 们 称 之 为 NP 完全 问 
题 , 如 定义 1.6 所 示 。 
定义 1.6 NP 完全 问题 (NP Complete Problem) 
一 个 判定 问题 D 是 NP 完全 问题 的 条 件 是 : 
(1) D 属于 NP 类 ; 
(2) NP 中 的 任何 问题 都 能 够 在 多 项 式 时 间 内 转化 为 DD。 
另外 ,在 定义 1.6 中 ,一 个 满足 条 件 (2) 但 不 满足 条 件 (1) 的 问题 被 称 为 NP 难 问题 。 
也 就 是 说 ,NP 难 问题 不 一 定 是 NP 类 问题 ,例如 图 灵 停 机 问题 。 正 式 地 说 ,一 个 NP 难 问 
题 至 少 跟 NP 完全 问题 一 样 难 ,也 许 更 难 ! 例如 在 某 些 
任意 大 的 棋盘 游戏 走出 必 胜 的 下 法 ,就 是 一 个 NP 难 的 
问题 ,这 个 问题 甚至 比 那 些 NP 完全 问题 还 难 。 
图 1.2 给 出 了 以 上 这 些 问题 分 类 的 关系 示意 图 ,该 
NPER OO 图 反映 了 NP 类 问题 是 包含 P 类 问题 的 (当然 NP 是 否 等 
图 1.2 问题 分 类 的 关系 示意 图 “于 了 ,这 是 一 个 至 今 还 不 能 证 明 的 难题 )。NP 完全 问题 
一 定 属于 NP 类 问题 ,而 且 属 于 NP 难 问 题 ,但 NP 难 问 


NP 类 问题 


问题 


题 不 一 定 是 NP 类 问题 ，。 


1.3 ”智能 优化 计算 万 法 : 计算 智能 算法 


随 着 技术 的 进步 ,工程 实践 问题 变 得 越 来 越 复 杂 , 传 统 的 计算 方法 面临 着 计算 复杂 
度 高 .计算 时 间 长 等 问题 ,特别 是 对 于 一 些 NP EA NP 完全 问题 ,设计 用 于 求解 这 些 
问题 的 精确 算法 往往 由 于 其 指数 级 的 计算 复杂 性 而 令 人 无 法 接受 。 对 于 这 些 难 解 问 
题 ,传统 的 精确 算法 根本 无 法 在 可 以 忍受 的 时 间 内 求 出 解 ,因此 ,为 了 在 求解 时 间 和 求 
解 精度 上 取得 平衡 ,计算 机 科学 家 们 提出 了 形形色色 具有 启发 式 特征 的 计算 方法 ,这 
些 算法 或 模仿 生物 界 的 进化 过 程 ,或 模仿 生物 的 生理 构造 和 身体 机 能 ,或 模仿 动物 的 


群体 行为 ,或 模仿 人 类 的 思维 .语言 和 记忆 过 程 的 特性 ,或 模仿 自然 界 的 物理 现象 , 硕 
望 通过 模拟 大 目 然 和 人 类 的 智 意 实现 对 问题 的 优化 求解 ,在 可 接受 的 时 间 内 求解 得 到 
可 接受 的 解 。 这 些 算法 就 是 智能 优化 计算 方法 ,也 叫 计 算 智 能 (Computational 
Intelligence, CD # YE 。 

计算 智能 是 借助 自然 界 ( 生 物 界 ) 规 律 的 启示 ,根据 其 规律 ,设计 出 求解 问题 的 算法 。 
物理 学 .化 学 ,数学 \. 生 物 学 ,心理 学 .生理 学 .神经 科学 和 计算 机 科学 等 学 科 的 现象 与 规律 
都 可 能 成 为 计算 智能 算法 的 基础 和 思想 来 源 。 从 关系 上 说 ,计算 智能 属于 人 工 智 能 
(Artificial Intelligence, AD MJ—4 47 0°), QA 1. 3 所 示 ,不 同 的 学 者 根据 其 对 人 工 智 
能 理解 的 不 同 ,形成 了 逻辑 主义 、 行 为 主义 和 联结 主义 三 大 学 派 。 逻 辑 主义 ,又 称 为 符号 
主义 ,心理 学 派 或 计算 机 学 派 , 其 原理 主要 为 物理 符号 系统 假设 和 有 限 合 理性 原理 。 这 一 
学 派 认 为 人 工 知 能源 于 数理 逻辑 ,认为 人 工 乔 能 的 研究 方法 应 为 功能 模拟 方法 ,通过 分 析 
人 类 认 知 系统 所 具备 的 功能 和 机 能 ,然后 用 计算 机 模拟 这 些 功 能 ,实现 人 工 智 能 。 行 为 主 
义 , 又 称 控制 论 学 派 ,其 原理 为 控制 论 及 感知 一 动作 型 控制 系统 。 这 一 学 派 认 为 人 工 智能 
源 于 控制 论 ,认为 智能 取决 于 感知 和 行动 (所 以 被 称 为 行为 主义 ), 提 出 智能 行为 的 “ 感 
知 一 动作 ”模式 。 联 结 主义 ,又 称 为 仿生 学 派 或 生理 学 派 ,其 原理 主要 为 神经 网 络 及 神经 
网 络 间 的 连接 机 制 与 学 习 算 法 。 这 一 学 派 认 为 人 工 智能 源 于 仿生 学 ,特别 是 人 脑 模 型 的 
研究 ,包括 神经 网 络 " 中 和 模糊 逻辑 中 等 研究 。 此 外 ,仿生 学 方面 出 现 了 进化 计算 ”中 BE 
体 智 能 中 等 多 种 计算 智能 优化 算法 。 


i A CIRE (Artificial Intelligence, AT) i 


又 称 控制 论 学 派 (Cyberneticsism), 义 称 仿生 学 派 (Bionicsism) 或 
其 原理 为 控制 论 及 感知 一 动作 型 HEYR {Physiologism)， 其 
控制 系统 : 这 一 学 派 认 为 人 工 簿 原理 为 对 人 类 大 脑 信息 处 理 以 


又 称 符 号 主义 (Symbolicism) ~ 
心理 学 派 (Psychlogism) iT A 
机 学 派 (Computerism), 其 原理 
能 源 于 控制 论 ， 提 出 智能 行为 的 及 对 生物 进化 过 程 的 模拟 ， 包 
“感知 一 动作 ”模式 括 模糊 逻辑 、 神 经 网 络 和 进化 
计算 等 计算 智能 算法 


主要 为 物理 符号 系统 假设 和 有 
限 人 理性 原理 


图 1.3 人 工 智 能 和 计算 智能 的 关系 
本 书 将 重点 介绍 其 中 的 联结 主义 ,也 就 是 所 谓 的 智能 优化 计算 方法 ,或 者 称 为 计算 知 
能 算法 。 在 这 一 节 , 首 先 对 计算 智能 算法 的 分 类 与 理论 .研究 与 发 展 、 特 征 与 应 用 等 方面 
进行 一 个 概要 的 介绍 ,后 面 的 章节 将 分 别 对 各 种 典型 的 计算 智能 算法 进行 介绍 。 
13.1 计算 智能 的 分 类 与 理论 


计算 智能 方法 在 模拟 人 脑 的 联想 .记忆 、 发 散 思 维 . 非 线性 推理 、 模 糊 概 念 等 传统 人 工 
智能 难以 胜任 的 方面 表现 优异 ,并 受到 人 们 的 广泛 关注 。 计 算 智能 方法 也 得 到 越 来 越 多 
学 者 的 研究 和 完善 ,并 与 传统 的 人 工 智能 技术 互相 交叉 、 取 长 补 短 , 使 得 人 工 智能 研究 与 
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应 用 呈现 出 癌 上 的 发 展 趋势 。 

计算 智能 算法 主要 包括 神经 计算 、 模 糊 计 算 和 进化 计算 三 大 部 分 。 如 图 1.4 所 示 , 典 
型 的 计算 智能 算法 包括 神经 计算 中 的 人 工 神经 网 络 算法 ,模糊 计算 中 的 模糊 逻辑 ” GE 
化 计算 中 的 遗传 算法 、 蚁 群 优 化 算法 :5 、 粒子 群 优化 算法 2、 免疫 算法 2 、 分布 
SHIT SEIKO | Memetic FEIA ,以 及 单 点 搜索 技术 例如 模拟 退火 算法 .禁忌 搜索 算 
法 [221[23 等 


神经 计算 : 人 工 神 经 网 络 算法 
模糊 计算 : 模糊 逻辑 


遗传 算法 (进化 策略 ,进化 规划 ) 
蚁 群 优 化 算法 
粒子 群 优化 算法 

计算 智能 1 进化 计算 1 免疫 算法 
分 布 估计 算法 
Memetic 算法 


模拟 退火 算法 
单 点 搜索 ,禁忌 搜索 算法 


图 1.4 计算 智能 主要 分 类 一 览 图 


以 上 这 些 计算 智能 算法 都 有 一 个 共同 的 特征 就 是 通过 模仿 人 类 智能 的 茶 一 个 ( 茶 一 
些 ) 方 面 而 达到 模拟 人 类 智能 ,实现 将 生物 智 六 .和 目 然 界 的 规律 计算 机 程序 化 ,设计 最 优化 
算法 的 目的 。 然 而 计算 智能 的 这 些 不 同人 研究 领域 各 有 其 特点 ,虽然 它们 具有 模仿 人 类 和 
其 他 生物 智能 的 共同 点 ,但 是 在 具体 方法 上 存在 一 些 不 同 点 。 它 们 的 主要 特点 如 表 1.2 
TAN o 
表 1.2 计算 智能 主要 研究 方向 及 其 特点 


研究 领域 主要 特点 
人 工 神 经 网 络 模仿 人 脑 的 生理 构造 和 信息 处 理 的 过 程 ,模拟 人 类 的 智慧 
模糊 逻辑 (模糊 系统 ) 模仿 人 类 语言 和 思维 中 的 模糊 性 概念 ,模拟 人 类 的 智慧 
进化 计算 模仿 生物 进化 过 程 和 群体 智能 过 程 ,模拟 大 自然 的 智慧 


然而 在 现 阶段 ,计算 智能 的 发 展 也 面临 严峻 的 挑战 ,其 中 一 个 重要 原因 就 是 计算 智能 
目前 还 缺乏 坚实 的 数学 基础 ,还 不 能 像 物 理 、 化 学 、 天 文 等 学 科 那 样 日 如 地 运用 数学 工具 
解决 各 目的 计算 问题 。 虽 然 神 经 网 络 具有 比较 完善 的 理论 基础 ,但 是 像 进化 计算 等 重要 
的 计算 智能 技术 还 没有 完善 的 数学 基础 。 对 计算 智能 算法 的 稳定 性 和 收敛 性 的 分 析 与 证 
明 还 处 于 研究 阶段 。 通 过 数值 实验 方法 和 具体 应 用 手段 检验 计算 智能 算法 的 有 效 性 和 高 
效 性 是 研究 计算 智能 算法 的 重要 方法 。 


第 1 章 绪论 


从 目前 的 研究 来 看 ,计算 智能 的 主要 理论 基础 包括 数学 基础 .生物 学 基础 和 群体 智能 


表 1.3 计算 智能 理论 基础 一 览 表 


数学 基础 生物 学 基础 群体 智能 


。 马尔 可 夫 过 程 。 个 体 认 识 
。 统计 学 习 过 程 。 和 群体 智慧 
。 随机 过 程 。 PASE 
。 模式 定理 。 群体 协作 
。 稳定 性 : 

。 收敛 性 


1.3.2 计算 智能 的 研究 与 发 展 


经 过 了 半 个 多 世纪 的 发 展 , 目 前 ,计算 智能 在 国内 外 得 到 广泛 的 关注 ,已 经 成 为 
人 工 智能 以 及 计算 机 科学 的 重要 人 研究 方向 。 图 1.5 给 出 了 计算 智能 的 发 展 历 程 示 
意图 。 


(1) 50 年 代 ,美国 学 者 Holland, 道 传 算 法 

(2) 60 年 代 ,德国 人 Rechenberg 和 Schwefel, 进化 策略 
(3) 60 年 代 ,美国 学 者 Fogel, 进化 规划 

(4) 50 年 代 , Rosenblatt SEA , Re Ala (神经 网 络 ) 

(5) 60 年 代 , Zadeh, HENNE FETEI 


C1) wife ek . ERIR- EAE SE A aT SE 
(模式 定理 ), 算法 之 同 的 区 别 越 来 越 不 明显 

(2) 模拟 退火 算法 (1983 年 )、 禁 号 搜索 算法 (1986 年 ) 的 
提出 提供 了 新 的 优化 手段 

{3) Hopfield 抽 馈 型 神经 网 络 结构 (1982 Œ ) ~ Rumelhart 后 
回 传 播 学 习 算法 (1986 年 ) 的 提出 将 神经 网 络 的 研究 推 向 
一 个 新 的 高 请 


(1) ERE (GA) 、 进 化 策略 (ES) 和 进化 规划 (EP) 算 法 也 
在 不 断 地 发 展 和 完美 

(2) 1992 年 ， Dorigo 等 人 提出 了 蚁 群 算法 (ACO), ARS 
散 组 合 优化 问题 提供 了 重要 的 工具 

(3) 199S 年 ， 由 Eberhart 和 Kennedy 提 出 的 粒子 群 优化 算法 
(PSO) 在 连续 优化 问题 上 得 到 了 广泛 的 应 用 


图 1.5 计算 智能 发 展 历程 示意 图 


计算 鲁能 还 处 于 不 断 发 展 和 完善 的 过 程 ,目前 还 没有 牢固 的 数学 基础 ,国内 外 众多 人 研 
究 者 也 是 在 不 断 的 探索 中 前 进 。 计 算 智 能 技术 在 自身 性 能 的 提高 和 应 用 范围 的 拓展 中 不 
断 完 善 。 计 算 和 镶 能 的 研究 发 展 与 应 用 ,无 论 是 研究 队伍 的 规模 、 发 表 的 论文 数量 ,还 是 网 
上 的 信息 资源 ,发 展 速度 都 很 快 ,已 经 得 到 了 国际 学 术 界 的 广泛 认可 。 
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相关 的 国际 会 议和 学 术 期 刊 为 计算 智能 的 人 研究 提供 了 良好 的 学 术 环 境 和 人 研究 氛围 。 
1994 Æ IEEE 神经 网 络 委员 会 主持 召开 了 第 一 届 进 化 计算 国际 会 议 , 并 成 立 了 IEEE iH 
化 计算 委员 会 ,此 会 议 每 2 年 与 IEEE 神经 网 络 国际 会 议 .IEEE 模糊 系统 国际 会 议 在 同 
一 地 点 先后 连续 举行 , 合 称 为 IEEE 计算 智能 国际 会 议 。 表 1. 4 列举 了 一 些 收录 计算 智 
能 人 研究 成 果 的 国际 学 术 期 刊 和 重要 国际 会 议 。 
表 1.4 计算 智能 相关 的 学 术 期 刊 和 国际 会 议 


IEEE Transactions on Evolutionary Computation 
IEEE Transactions on Fuzzy Sets 

IEEE Transactions on Neural Networks 

IEEE Transactions on Systems, Man and Cybernetics 
IEEE Transactions on … 


学 术 期 刊 


Machine Learning 
Evolutionary Computation 
Complex Systems 
Artificial Intelligence 


IEEE World Congress on Computational Intelligence (WCCD 
IEEE Congress on Evolutionary Computation (CEC) 
IEEE International Conference on Systems, Man, and Cybernetics (SMC) 
国际 会 议 | ACM Genetic and Evolutionary Computation Conference (GECCO) 
International Conference on Ant Colony Optimization and Swarm Intelligence (ANTS) 
International Conference on Simulated Evolution And Learning (SEAL) 


133 计算 智能 的 特征 与 应 用 


计算 智能 方法 采用 启发 式 的 随机 搜索 策略 ,在 问题 的 全 局 空间 中 进行 搜索 寻 优 ， 
能 在 可 接受 的 时 间 内 找到 全 局 最 优 解 或 者 可 接受 解 。 和 传统 的 优化 算法 比较 ,计算 
智能 算法 在 处 理 优化 问题 的 时 候 , 对 求解 问题 不 需要 严格 的 数学 推导 ,而 且 有 很 好 
的 全 局 搜索 能 力 , 具 有 普遍 的 适应 性 和 求解 的 健壮 性 。 计 算 智 能 算法 的 主要 特征 如 
表 1.5 所 示 。 
表 1.5 计算 智能 算法 的 基本 特征 一 览 表 


主要 特征 具体 特点 
智能 性 包括 算法 的 自 适应 性 、 自 组 织 性 ,算法 不 依赖 于 问题 本 身 的 特点 ,具有 通用 性 
并 行 性 算法 基本 上 是 以 群体 协作 的 方式 对 问题 进行 优化 求解 ,非常 适合 大 规模 并 行 处 理 
健壮 性 算法 具有 很 好 的 容错 性 ,同时 对 初始 条 件 不 敏感 ,能 在 不 同 条 件 下 寻找 最 优 解 


计算 智能 算法 已 经 在 优化 计算 .模式 识别 .图 像 处 理 .上 自动 控制 、 经 济 管理 .机 械 工 程 、 
电气 工程 ` 通 信 网 络 和 分 子 生 物 学 等 多 个 领域 取得 了 成 功 的 应 用 ,应 用 领域 涉及 国防 、 科 
技 、 经 济 、 工 业 和 农业 等 各 个 方面 ,如 图 1.6 A 


[1] 
[2] 
[3] 


[4] 
L5] 
L6] 
L7] 


[8] 
L9] 


国防 工业 农业 
雷达 天 线 设计 机 器 学 习 金融 数据 分 析 功率 电子 电路 优化 | 排灌 工程 
卫星 轨道 参数 优化 | | 数据 挖掘 LE aR ie OAS 电磁 过 小 水 利水 电工 程 
战场 模拟 图 像 处 理 企业 现金 流 害 理 输电 网 规划 农业 用 地 结构 优化 
车 事 物流 优化 模式 识别 EWU A AH SWS | 工作 流 调度 管理 温室 挥 制 
干扰 抑制 重 日 质 结 构 预 测 车 辆 路 由 水 库 防 洪 
多 目标 优化 交通 控制 农业 工程 

多 播 路 由 l 


图 1.6 计算 智能 的 应 用 


1.4 ASDA 


. 请 列举 出 生活 中 过 到 的 一 些 最 优化 问题 。 

. 在 计算 复杂 性 和 NP 理论 中 ,问题 一 般 都 分 为 哪些 类 别 ? 它们 之 间 有 什么 关系 ? 
. 计算 智能 主要 包括 哪些 研究 领域 ? 它们 有 些 什么 特点 ? 

. 请 描述 一 下 计算 智能 的 研究 与 发 展 历 程 。 

. 通过 查阅 相关 参考 文献 ,了 解 计算 智能 在 各 个 领域 的 应 用 情况 。 
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普通 高 校本 科 计 算 机 专业 


神经 网 络 


神奇 的 大 脑 无 时 不 在 
吸引 着 科学 家 的 兴趣 。 人 
类 的 大 脑 是 如 何 工作 的 呢 ? 
在 计算 机 上 能 够 仿照 大 脑 
工作 的 原理 吗 ? 


人 神经 末梢 


科学 家 们 发 现 ,大 脑 工 作 的 基本 单位 
是 神经 元 , 即 神经 细胞 。 神 经 元 主要 由 细 
胞 体 、 多 个 树 突 和 一 个 轴 突 三 部 分 组 成 ， 
形成 了 大 脑 处 理 信息 的 基本 单元 。 


人 工 神经 网 络 (Artificial Neural Network. ANN) 是 科学 家 们 在 对 生物 的 
神经 元 、 神 经 系统 等 生理 学 的 研究 取得 了 突破 性 进展 以 及 对 人 脑 的 结构 、 
组 成 和 基本 工作 单元 有 了 进一步 认识 的 基础 上 , 通过 借助 数学 和 物理 的 方 
法 从 信息 处 理 的 角度 对 人 脑 神经 网 络 进行 抽象 后 建立 的 简化 模型 。 
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神奇 的 大 脑 无 时 不 在 吸引 着 众多 人 研究 者 的 兴趣 ,计算 机 科学 家 一 直 都 在 寻找 一 种 能 
够 模拟 人 类 大 脑 的 算法 ,神经 网 络 作为 计算 智能 的 一 个 重要 分 文 ,是 一 种 通过 对 人 脑 和 神 
经 系统 的 模拟 并 且 用 于 模仿 人 类 生理 活动 的 计算 智能 算法 。 

本 章 将 对 神经 网 络 算法 进行 介绍 ,包括 神经 网 络 算法 的 基本 原理 ,人 研究 进展 、 典 型 结 
构 和 学 习 算 法 。 通 过 对 BP 神经 网 络 的 详细 介绍 ,给 读者 展示 了 设计 和 使 用 神经 网 络 的 
基本 流程 和 基本 要 素 。 最 后 通过 对 进化 神经 网 络 和 神经 网 络 的 典型 应 用 的 介绍 ,为 读者 
进一步 了 解 神 经 网 络 提供 了 相关 的 参考 资料 。 本 章 的 主要 内 容 如 下 : 

。 神经 网 络 人 简介 ; 
神经 网 络 的 典型 结构 ; 
神经 网 络 的 学 习 算 法 ; 

BP 神经 网 络 ; 
进化 神经 网 络 ; 
神经 网 络 的 应 用 。 


2.1 神经 网 络 简介 
21.1 神经 网 络 的 基本 原理 


神经 网 络 (Neural Network. NN) 一 般 也 称 为 人 工 神 经 网 络 (Artificial Neural 
Network,ANN), 是 科学 家 们 在 对 生物 的 神经 元 、 神 经 系统 等 生理 学 的 人 研究 取得 了 突破 
性 进展 以 及 对 人 脑 的 结构 、 组 成 和 基本 工作 单元 有 了 进一步 认识 的 基础 上 ,通过 借助 数学 
和 物理 的 方法 从 信息 处 理 的 角度 对 人 脑 神经 网 络 进行 抽象 后 建立 的 简化 模型 。 作 为 计算 
智能 算法 的 一 个 重要 分 文 ,人 工 神 经 网 络 目 前 已 成 为 一 门 十 分 热门 的 交叉 学 科 , 它 涉及 了 
生物 电子、 计算 机 、 数 学 和 物理 等 学 科 , 有 看 非常 广 沁 的 应 用 前 景 。 

生物 学 对 神经 系统 结构 的 研究 成 果 是 人 工 神 经 网 络 的 基础 。 在 生物 界 中 ,神经 系 
统 的 基本 单位 是 神经 元 。 大 多 数 神 经 元 由 一 个 细胞 体 (cell body 或 soma) 和 突 
(process) 两 部 分 组 成 。 突 分 两 类 , 即 轴 突 (axon) 和 树 突 (dendrite) ,如 图 2.1 所 示 。 轴 
突 是 个 突出 部 分 ,长 度 可 达 1m, 它 把 本 神经 元 的 输出 发 送 至 其 他 相连 接 的 神经 元 。 树 
细胞 核 


图 2.1 神经 元 结构 基本 示意 图 
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突 也 是 突出 部 分 ,但 一 般 较 短 , 且 分 枝 很 多 ,与 其 他 神经 元 的 轴 突 相连 ,以 接收 来 自 其 
他 神经 元 的 生物 信号 。 轴 突 和 树 突 共同 作用 ,实现 了 神经 元 间 的 信息 传递 。 轴 罕 的 末 
端 与 树 突进 行 信 号 传递 的 界面 称 为 突 触 (synapse) ,通过 突 触 向 其 他 神经 元 发 送信 息 。 
对 某 些 突 触 的 刺激 促使 神经 元 触发 (fire) 。 只 有 神经 元 所 有 输入 的 总 效应 达到 国 值 电 
平 , 它 才能 开始 工作 。 无 论 什 么 时 候 达 到 国 值 电 平 ,神经 元 都 会 产生 一 个 全 强度 的 输 
出 罕 脉 冲 , 从 细胞 体 经 轴 突 进入 轴 罕 分 校 。 这 时 的 神经 元 就 称 为 被 触发 。 越 来 越 多 的 
证 据 表 明 ,学 习 发 生 在 突 触 附近 ,而 且 突 触 把 经 过 一 个 神经 元 轴 突 的 脉冲 转化 为 下 一 
个 神经 元 的 兴奋 信和 号 或 抑制 信号 5 。 

人 工 神经 网 络 是 由 模拟 神经 元 组 成 的 ,可 把 ANN 看 成 是 以 处 理 单元 (Processing 
Element,PE) 为 节点 ,用 加 权 有 问 弧 ( 链 ) 相 互 连 接 而 成 的 有 问 图 。 其 中 ,处 理 单元 是 对 生 
理 神经 元 的 模拟 ,而 有 问 弧 则 是 对 轴 突 一 突 触 一 树 突 对 的 模拟 。 有 问 弧 的 权重 表示 两 处 
理 单元 间 相 互 作 用 的 强 弱 。 在 简单 的 人 工 神经 网 络 模型 中 ,用 权 和 乘法 器 模拟 突 触 特 性 ， 
用 加 法 需 模 拟 树 突 的 互 连 作 用 ,而 且 与 国 值 比较 来 模拟 细胞 体内 电化 学 作用 产生 的 开关 
寺 性 ,这 些 关 系 对 照 如 表 2.1 所 示 。 图 2.2 表示 ANN 神经 元 的 组 成 示意 图 。 图 2. 2 中 ， 
ax; 表示 来 自 其 他 神经 元 的 输入 ,ww; 表示 相应 的 网 络 连接 权重 ,各 个 输入 乘 以 相应 权重 , 然 
后 相 加 。 把 所 有 总 和 与 浆 值 电 平 0( 称 为 神经 元 的 偏 置 ) 比 较 , 当 总 和 高 于 阅 值 时 ,其 输出 
为 1; 否则 ,输出 为 0。 大 的 正 权 对 应 于 强 的 兴奋 ,小 的 负 权 对 应 于 弱 的 抑制 。 

表 2.1 生物 神经 元 和 人 工 神经 元 关系 对 照 表 


树 突 输入 层 接收 输入 的 信号 (数据 ) 
细胞 体 加 权 和 加 工 和 处 理 信号 (数据 ) 
轴 突 阅 值 函数 (激活 函数 ) 控制 输出 
Z fih 输出 层 输出 结果 
A aia i 
BRENTA eae ae fe l, 2 Wi 之 
收 畏 入 信号 控制 信号 的 输出 0 其 他 


| , 加 权 和 
模拟 神经 元 的 细胞 体 模拟 神经 元 的 突 触 
加 工 和 处 理 接收 到 的 信和 号 对 结果 进行 输出 


2.2 人 工 神 经 元 结构 及 功能 示意 图 


2.1.2 神经 网 络 的 研究 进展 
ANN 是 对 人 类 大 脑 系 统 特 性 的 一 种 描述 。 它 的 形成 与 发 展 是 生物 学 和 计算 机 科学 
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等 学 科 综 合 发 展 的 结果 。1943 年 ,McCullonch( 心 理学 家 ) 和 Pritts WAEA ZZ) ER 
文章 3 提出 了 M-P 模型 。 该 模型 总 结 了 生物 神经 元 的 基本 生理 特性 ,提出 了 神经 元 的 数 
学 描述 和 网 络 的 结构 方法 ,这 标志 着 神经 网 络 计算 时 代 的 开始 。 

尽管 神经 网 络 在 早期 取得 了 一 定 的 成 功 , 如 1957 年 Frank Rosenblatt’ 5 定义 了 一 
个 称 为 感知 器 (perceptron) 的 神经 网 络 结构 ,第 一 次 把 神经 网 络 从 纯 理 论 的 探讨 推 问 了 
工程 实现 ,并 掀起 了 神经 网 络 研 究 的 高 潮 。 而 且 该 模型 在 IBM704 机 器 上 的 实现 证 明了 
该 模型 有 能 力 通过 调整 权重 学 习 达 到 正确 分 类 的 效果 。 但 是 , Minsky 和 Papert 在 
1969 年 发 表 论 著 《Perceptrons》%5 指出 感知 器 仅 能 解决 一 阶 谓词 逻辑 ,只 能 完成 线性 划 
分 ,对 于 非 线 性 或 者 其 他 分 类 会 遇 到 很 多 困难 ,就 连 简单 的 XOR( 异 或 ) 问 题 都 解决 不 了 。 
由 此 ,神经 网 络 的 研究 进入 了 反思 期 。 

直到 20 世纪 80 年 代 , 特 别 是 1982 年 Hopfield’ 提出 的 全 连接 网 络 模型 才 使 得 人 
们 对 神经 网 络 有 了 新 的 认识 。Hopfield 将 Lyapunov 函数 引入 到 神经 网 络 中 ,并 且 从 理 
论 上 证 明了 网 络 可 以 达到 稳定 的 离散 和 连续 两 种 情况 ,为 神经 网 络 的 研究 开辟 了 一 条 魏 
新 的 道路 ,揭示 了 神经 网 络 的 研究 存在 无 限 的 发 展 空间 。 此 外 ,Rumelhart | A! 于 
1986 年 提出 的 反 向 传播 算法 (Back Propagation, BP). ,使 Hopfield 模型 和 多 层 前 馈 神经 
网 络 成 为 应 用 最 广泛 的 神经 网 络 模型 ,在 语言 识别 .模式 识别 .图 像 处 理 和 工业 控制 等 领 
域 颇 有 成 效 。 图 2. 3 给 出 了 人 工 神经 网 络 发 展 历程 的 示意 图 。 


启蒙 萌芽 时 期 — 低 渭 反思 时 期 — 复兴 发 展 时 期 一 一 一 新 的 发 展 时 期 
1940 年 至 1960 年 1960 年 至 1970 年 1980 年 至 1990 年 1990 年 中 后 期 之 后 
一 


1943 年 McCullonch 和 
Pritts 提 出 了 神经 元 的 数 
学 描述 和 网 络 的 结构 方 
法 ， 这 标志 着 神经 网 络 
计算 时 代 的 并 始 。 

1957 年 Frank Rosenblatt 


定义 一 个 称 为 感知 昔 的 
昼 经 网 络 结构 , 第 一 次 
把 神经 网 络 从 纯 理 论 的 
探讨 推 和 了 工程 实现 ， 
掀起 了 神经 网 络 研究 的 
高 潮 。 


Minsky 和 Papert 在 1969 
ER > ed Perceptrons >, 
指出 感知 器 仅 能 解决 一 阶 
谓词 逻辑 ， 只 能 完成 线性 
划分 ， 对 于 非 线 性 或 者 其 
他 分 类 会 如 到 很 多 困难 ， 


就 连 简 单 的 XOR( 异 或 ) 
问题 都 解决 不 了 。 由 此 ， 
神经 网 络 的 研究 进入 了 


1982 年 Hopfield 提出 的 
全 连接 网 络 模型 才 使 得 
大 们 对 神经 网 络 有 了 新 
的 认识 ， 开 辟 了 一 条 新 
的 研究 道路 。 

1986 年 Rumelhart 等 人 
提出 的 反 回 传播 算法 ， 
使 Hopfield 模 型 和 多 屋 
前 馈 神 经 网 络 成 为 应 用 
最 广 沁 的 神经 网 络 模型 


as 


20 世 纪 90 年 代 中 后 期 ， 
神经 网 络 研究 进入 了 一 
个 新 的 发 展 阶 段 ， 一 方 
面 已 有 理论 在 不 断 地 深 
化 和 得 到 进一步 推广 ; 
男 一 方面 ， 新 的 理论 和 


方法 也 在 不 断 出 现 。 
光学 神经 网 络 、 混 沌 神 
经 网 络 、 模 糊 神经 网 络 、 
进化 神经 网 络 等 新 模型 
陆续 出 现 。 


图 2.3 人 工 神 经 网 络 发 展 历程 的 示意 图 


随 着 神经 网 络 在 世界 范围 内 的 复兴 ,国内 外 逐步 掀起 了 研究 的 热潮 ,研究 队伍 的 规模 
在 不 断 地 扩大 ,科研 成 果 也 在 不 断 地 增加 。1987 年 ,第 一 届 国 际 神经 网 络 学 术 会 议 在 美 
国 加 利 福 尼 亚 州 召开 ,此 后 每 年 一 届 的 国际 联合 神经 网 络 大 会 (International Joint 
Conference on Neural Networks,IJCNN) 成 了 神经 网 络 人 研究 者 重要 的 学 术 交 流 平台 。 除 
此 之 外 ,还 有 很 多 重要 的 国际 会 议和 国际 期 刊 都 对 神经 网 络 方面 的 研究 成 果 非 常 重视 , 收 
录 了 很 多 高 质量 的 学 术 文 草 。 表 2.2 列举 了 一 些 和 神经 网 络 相 关 的 重要 学 术 期 刊 和 国际 


会 议 。 
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表 2.2 神经 网 络 相关 的 学 术 期 刊 和 国际 会 议 一 览 表 


IEEE Transactions on Neural Networks 
IEEE Transactions on Systems, Man and Cybernetics 
Journal of Artificial Neural Networks 
Journal of Neural Systems 
学 术 期 乔 Neural aia 
Neural Computation 
Networks 
Computation in Neural Systems 
Machine Learning 


International Joint Conference on Neural Networks 

IEEE International Conference on Systems, Man, and Cybernetics 
国际 会 议 . 

World Congress on Computational Intelligence 


经 过 半 个 多 世纪 的 发 展 , 人 工 神经 网 络 受到 了 广泛 的 关注 。 由 于 其 具有 民 好 的 非 线 
性 性 高 度 的 并 行 分 布 性 .和 鲁 棒 性 、 容 错 性 和 概 化 能 力 , 人 工 神经 网 络 已 经 在 模式 识别 、 目 
动 控制 \ 信 号 处 理 、 辅 助 决策 、 人 工 乔 能 等 众多 人 研究 领域 取得 了 广泛 的 成 功 。 关 于 和 学 习 、 联 
想 和 记忆 等 具有 智能 特点 过 程 的 机 理 及 其 模拟 方面 的 研究 正 受 到 越 来 越 多 的 重视 。 建 议 
有 兴趣 的 读者 通过 阅读 相关 的 书籍 “29 和 经 典 的 综述 文章 ”2 来 对 神经 网 络 的 基本 原 
理 、 发 展 历程 和 人 研究 现状 进行 更 进一步 的 学 习 和 了 解 。 


2.2 神经 网 络 的 典型 结构 


人 工 神 经 网 络 有 很 多 种 不 同 的 模型 ,通常 可 按 以 下 5 个 原则 进行 归 类 。 
。 按照 网 络 的 结构 区 分 ,有 前 癌 网 络 和 反馈 网 络 。 

。 按照 学 习 方式 区 分 ,有 有 监督 学 习 网 络 和 无 监督 学 习 网 络 。 

。 按照 网 络 性 能 区 分 ,有 连续 型 和 离散 型 网 络 ,随机 型 和 确定 型 网 络 。 
。 按照 突 触 性 质 区 分 ,有 一 阶 线性 关联 网 络 和 融 阶 非 线性 关联 网 络 。 


© 按 对 生物 神经 系统 的 层次 模拟 区 分 ,有 神经 元 层次 模型 .组 合式 模型 .网 络 层次 模 
型 ,神经 系统 层次 模型 和 智能 型 模型 。 


通 凋 ,人 们 较 多 地 考虑 神经 网 络 的 互 连 结构 。 本 节 将 按照 神经 网 络 连接 模式 ,对 神经 
网 络 的 几 种 典型 结构 分 别 进行 介绍 。 


221 单 层 感知 器 网 络 


单 层 感知 器 是 最 早 使 用 的 ,也 是 最 简单 的 神经 网 
络 结构 ,由 一 个 或 多 个 线性 国 值 单元 组 成 ,如 图 2.4 所 
示 。 但 由 于 这 种 网 络 结构 相对 简单 ,因此 能 力也 非常 
有 限 , 一 般 比较 少 用 。 

作为 最 原始 的 、 最 简单 的 神经 网 络 结构 , 单 层 感 EA A RT Tas E R 


; t ), aa ; 
Y] Yi * Yn 


X] a X; E Xn 
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知 器 是 其 他 很 多 网 络 结 构 的 基本 单元 。 图 2.4 所 示 的 神经 网 络 本 身 也 是 由 很 多 个 如 图 
2. 2 所 示 的 人 工 神经 元 组 合 而 成 的 。 在 前 面 的 图 2. 2 中 可 以 看 到 ,神经 元 所 使 用 的 激活 
函数 是 二 值 离散 神经 元 模型 ,也 就 是 如 图 2.5(a) 所 示 的 靖 值 型 激活 图 数 。 但 是 这 种 函数 
对 非 线 性 的 拟 合 程度 非常 有 限 。 因 此 除了 这 种 阅 值 型 的 激活 函数 ,人 们 还 采用 了 S 形状 
的 函数 (例如 指数 、 对 数 、 双 曲 正切 、Sigmoid 函数 等 ) 或 者 是 分 段 线 性 函数 。 图 2.5 给 出 
了 这 3 种 不 同 激活 函数 的 图 像 。 其 中 图 2. 5(c) 给 出 的 是 Sigmoid 函数 ,其 函数 表达 式 如 
公式 (2.1) 所 示 , 这 是 神经 网 络 中 使 用 最 广泛 的 激活 函数 。 


(2. 1) 


(a) 国 值 型 (b) 分 段 型 (c) SHU 
图 2.5 几 种 常见 的 激活 函数 
2.2.2 前 馈 型 网 络 


前 馈 型 网 络 的 信号 由 输入 层 到 输出 层 单 回 传输 ,每 层 的 神经 元 仅 与 其 前 一 层 的 神经 
元 相连 , 仅 接受 前 一 层 传输 来 的 信息 ,其 网 络 结构 如 图 2.6 所 示 。 


图 2.6 前 馈 型 网 络 结构 示意 图 


前 馈 型 网 络 使 用 最 为 广 沁 的 神经 网 络 模型 ,因为 它 本 和 号 的 结构 并 不 复 淋 ,学 习 和 调整 
方案 也 比较 容易 操作 ,而且 由 于 采用 了 多 层 的 网 络 结构 ,其 求解 问题 的 能 力 得 到 明显 的 加 
强 , 基 本 上 可 以 满足 使 用 要 求 。 该 种 神经 网 络 的 信号 由 输入 层 传输 到 输出 层 的 过 程 中 ,每 
一 层 的 神经 元 之 间 没 有 横 问 的 信息 传输 。 每 一 个 神经 元 受到 前 一 层 全 部 神经 元 的 控制 ， 
控制 能 力 由 连接 权重 决定 。 
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2.23 前 馈 内 层 互 联网 络 


这 种 网 络 结 构 从 外 部 看 还 是 一 个 前 馈 型 的 网 络 , 但 是 内 部 有 一 些 节 点 在 层 内 互 连 , 网 
络 结 构 如 图 2.7 所 示 。 


图 2.7 前 馈 内 层 互 联网 络 结构 示意 图 


通常 情况 下 , 同 层 之 间 神 经 元 的 互相 连接 是 日 组 织 苑 争 网 络 的 特征 之 一 。 神 经 元 之 
间 的 激励 和 压抑 是 页 争 的 手段 。 


224 反馈 型 网 络 


这 种 网 络 结构 在 输入 输出 之 间 还 建立 了 另外 一 种 关系 ,就 是 网 络 的 输出 层 存 在 一 个 
反馈 回路 到 输入 层 作 为 输入 层 的 一 个 输入 ,而 网 络 本 号 还 是 前 馈 型 的 ,网 络 结构 如 图 2. 8 
所 示 。 


一 
一 
tet 
w 

一 


Q © ® 
ae el pe Sv? =< SS, 


2.8 反馈 型 网 络 结构 示意 图 


20 


计算 智能 


这 种 神经 网 络 的 输入 层 不 仅 接受 外 界 的 输入 信 y 
号 ,同时 接受 网 络 自身 的 输出 信号 。 输 出 反馈 信和 号 可 

以 是 原始 输出 信号 ,也 可 以 是 经 过 转化 的 输出 信号 ;可 

以 是 本 时 刻 的 输出 信号 ,也 可 以 是 经 过 一 定 延 迟 的 输 

出 信号 。 此 种 网 络 经 常用 于 系统 控制 ,实时 信号 处 理 

等 需要 根据 系统 当前 状态 进行 调节 的 场合 。 


225 全 互联 网 络 
2.9 全 互联 网 络 结构 示意 图 
全 互联 网 络 中 所 有 的 神经 元 之 间 都 有 相互 间 的 连 


接 , 如 Hopfiled 和 Boltgmann 网 络 都 是 这 种 类 型 ,网 络 结构 如 图 2.9 所 示 。 


2.3 ”和 俐 经 网 络 的 学 习 算 法 


设计 出 来 的 神经 网 络 要 经 历 一 个 学 习 训 练 过 程 。 目 的 是 通过 学 习 不 断 地 调整 和 修正 
网 络 的 参数 。 神 经 网 络 的 学 习 包 括 学 习 方法 和 学 习 规则 两 个 方面 的 内 容 。 
图 2. 10 给 出 了 关于 神经 网 络 学 习 方 法 和 学 习 规 则 的 分 类 图 。 


有 监督 学 习 
学 习 方 法 /无 监督 学 习 
再 励 学 习 
Hebb 学 习 规 则 
Delta(6) 学 习 规 则 
梯度 下 降 学 习 规 则 
学 习 规 则 4Kohonen 学 习 规 则 
后 向 传播 学 习 规 则 
概率 式 学 习 规 则 
竞争 式 学 习 规 则 


图 2.10 神经 网 络 学 习 方法 和 学 习 规 则 的 分 类 图 


神经 网 络 学 习 算 法 


23.1 学 习 方 法 


目前 神经 网 络 的 学 习 方法 有 多 种 ,按照 有 无 监督 来 分 类 ,可 以 分 为 有 监督 学 习 
(Supervised Learning) 或 称 有 指导 学 习 、 无 监督 学 习 (Unsupervised Learning) 或 称 无 指 
导 学 习 以 及 再 励 学 习 (Reinforcement Learning) JLA" 。 

在 有 监督 学 习 方式 中 ,网 络 的 输出 和 期 望 的 输出 ( 即 监督 信号 ?进行 比较 ,然后 根据 两 
者 之 间 的 差异 调整 网 络 的 权重 ,最 终 使 差异 变 小 。 监 督 即 是 训练 数据 本 和 号 ,不 但 包括 输入 
数据 ,还 包括 在 一 定 输入 条 件 下 的 输出 。 网 络 根据 训练 数据 的 输入 和 输出 来 调节 本 刁 的 
权重 ,使 网 络 的 输出 符合 实际 的 输出 。 在 这 种 学 习 方式 中 ,网 络 将 应 有 的 输出 与 实际 输出 
数据 进行 比较 。 网 络 经 过 一 些 训练 数据 组 的 计算 后 ,最 初 随 机 设置 的 权重 经 过 网 络 的 调 
整 ,使 得 输出 更 接近 实际 的 输出 结果 ,所 以 学 习 过 程 的 目的 在 于 减 小 网 络 应 有 的 输出 与 实 


际 输出 之 间 的 误差 。 这 是 徘 不 断 调整 权重 来 实现 的 。 

对 于 在 指导 下 学 习 的 网 络 , 网 络 在 可 以 实际 应 用 之 前 必须 进行 训练 。 训 练 的 过 程 是 
把 一 组 输入 数据 与 相应 的 输出 数据 输 进 网 络 。 网 络 根据 这 些 数 据 来 调整 权重 。 这 些 数 据 
组 就 称 为 训练 数据 组 。 在 训练 过 程 中 ,每 输入 一 组 数据 ,同时 也 告诉 网 络 的 输出 应 该 是 什 
么 。 网 络 经 过 训练 后 , 奋 认 为 网 络 的 输出 与 应 有 的 输出 间 的 误差 达到 了 人 允许 范围 ,权重 就 
不 再 改动 了 。 这 时 的 网 络 可 用 新 的 数据 去 检验 。 

在 无 监督 学 习 方式 中 ,输入 模式 进入 网 络 后 ,网 络 按 照 一 预先 设 定 的 规则 (如 耽 争 规 
则 ) 目 动 调整 权重 ,使 网 络 最 终 具有 模式 分 类 等 功能 。 没 有 指导 的 学 习 过 程 指 训练 数据 只 
有 输入 而 没有 输出 ,网 络 必须 根据 一 定 的 判断 标准 目 行 调整 权重 。 在 这 种 学 习 方 式 下 ,网 
络 不 徘 外 部 的 影响 来 调整 权重 。 也 就 是 说 ,在 网 络 训 练 过 程 中 ,只 提供 输入 数据 而 无 相应 
的 输出 数据 。 网 络 检查 输入 数据 的 规律 或 趋 加 ,根据 网 络 本 身 的 功能 进行 调整 ,并 不 需要 
告诉 网 络 这 种 调整 是 好 还 是 坏 。 这 种 没有 指导 进行 学 习 的 算法 ,强调 每 一 层 处 理 单 元 组 
间 的 协作 。 如 采 输 入 信息 使 处 理 单 元 组 的 任何 单元 激活 , 则 整个 处 理 单元 组 的 活性 就 增 
强 。 然 后 处 理 单 元 组 将 信息 传送 给 下 一 层 单 元 。 

再 励 学 习 是 介 于 上 述 两 者 之 间 的 一 种 学 习 方法 。 


2.3.2 学 习 规 则 
神经 网 络 学 习 算 法 的 另 一 个 重点 是 学 习 规 则 。 使 用 比较 普遍 的 学 习 规 则 有 以 下 


TIa 

1. Hebb 学 习 规则 

这 个 著名 的 规则 是 由 Donald Hebb 在 1949 年 提出 的 58 。 其 基本 规则 可 以 简单 归纳 
为 : 如 果 处 理 单元 从 另 一 个 处 理 单元 接收 到 一 个 输入 ,并 且 如 果 两 个 单元 都 处 于 高 度 活 
动 状态 ,这 时 两 单元 间 的 连接 权重 就 要 被 加 强 。 

Hebb 学 习 规 则 是 一 种 联想 式 学 习 方 法 。 联 想 是 人 脑 形象 思维 过 程 的 一 种 表现 形 
式 。 例 如 ,在 空间 和 时 间 上 相互 接近 的 事物 部 容易 在 人 脑 中 引起 联想 。 生 物 学 家 Donald 
Hebb 基于 对 生物 学 和 心理 学 的 研究 ,提出 了 学 习 行 为 的 突 触 联 系 和 神经 群 理 论 。 认 为 
突 触 前 与 突 触 后 二 者 同时 兴奋 , 即 两 个 神经 元 同时 处 于 激发 状态 时 ,它们 之 间 的 连接 强度 
将 得 到 加 强 ,这 一 论述 的 数学 描述 被 称 为 Hebb 学 习 规则 。 

Hebb 学 习 规 则 是 一 种 没有 指导 的 学 习 方 法 , 它 只 根据 神经 元 连接 间 的 激活 水 平 改 
变 权 重 , 因 此 这 种 方法 又 称 为 相关 学 习 或 并 联 学 习 。 

2. Delta(6 ) 学 习 规则 

Delta 规则 是 最 第 用 的 学 习 规 则 ,其 要 点 是 改变 单元 间 的 连接 权重 来 减 小 系统 实际 输 
出 与 应 有 的 输出 间 的 误差 。 这 个 规则 也 叫 Widrow-Hoff 学 习 规 则 9 ,首先 在 Adaline 模 
型 中 应 用 ,也 可 称 为 最 小 均 方差 规则 。 

Delta 规则 实现 了 梯度 下 降 减 少 误差 ,因此 使 误差 函数 达到 最 小 值 , 但 该 学 习 规 则 只 
适用 于 线性 可 分 图 数 ,无 法 用 于 多 层 网 络 。 此 外 ,后 面 要 介绍 的 BP 网 络 的 学 习 算 法 称 为 
BP 算法 ,是 在 Delta 规则 的 基础 上 发 展 起 来 的 ,可 在 多 层 网 络 上 有 效 地 学 习 。 
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3. 梯度 下 降 学 习 规则 

这 是 对 减 小 实际 输出 和 应 有 输出 间 误 差 方 法 的 数学 说 明 。Delta 规则 是 梯度 下 降 规 
则 的 一 个 例子 。 梯 度 下 降 学 习 规 则 的 要 点 为 在 学 习 过 程 中 ,保持 误差 曲线 的 梯度 下 降 。 
误差 曲线 可 能 会 出 现 局 部 的 最 小 值 。 在 网 络 学 习 时 ,应 尽 可 能 摆脱 误差 的 局 部 最 小 值 ,而 
达到 真正 的 误差 最 小 值 。 

4. Kohonen 学 习 规 则 

该 规则 是 由 Teuvo Kohonen 在 研究 生物 系统 学 习 的 基础 上 提出 的 ,只 用 于 没有 指 
导 下 训练 的 网 络 。 在 学 习 过 程 中 ,处 理 单元 苑 争 学 习 的 时 候 , 具 有 高 输出 的 单元 是 胜利 
者 , 它 有 能 力 阻 止 它 的 竞争 者 并 激发 相 邻 的 单元 。 只 有 胜利 者 才能 有 输出 ,也 只 有 胜利 者 
与 其 相 邻 单元 可 以 调节 权重 。 

在 训练 周期 内 , 相 邻 单元 的 规模 是 可 变 的 。 一 般 的 方法 是 从 定义 较 大 的 相 邻 单元 开 
始 ,在 训练 过 程 中 不 断 减 小 相 邻 的 范围 。 胜 利 单元 可 定义 为 与 输入 模式 最 为 接近 的 单元 。 
Kohonen 网 络 可 以 模拟 输入 的 分 配 。 

5. 后 向 传播 学 习 规则 

Jn Ib) £2 #8 (Back Propagation, BP) 学 习 , 是 目前 应 用 最 为 广泛 的 神经 网 络 学 习 规 
WW? 。 误 差 的 后 向 传播 技术 一 般 采 用 Delta 规则 。 此 过 程 涉及 两 步 ,第 一 步 是 正 反 馈 , 当 
输入 数据 输入 网 络 , 网 络 从 前 往 后 计算 每 个 单元 的 输出 ,将 每 个 单元 的 输出 与 期 望 的 输出 
进行 比较 ,并 计算 误差 。 第 二 步 是 癌 后 传播 ,从 后 回 前 重新 计算 误差 ,并 修改 权重 。 完 成 
这 两 步 后 才能 输入 新 的 输入 数据 。 这 种 技术 一 般 用 在 三 层 或 四 层 网 络 。 对 于 输出 层 , 已 
千 每 个 单元 的 实际 输出 和 应 有 的 输出 ,比较 容易 计算 误差 ,技巧 在 于 如 何 调节 中 间 层 单元 
的 权重 。 

6. 概率 式 学 习 规 则 

从 统计 力学 .分子 热 力学 和 概率 论 中 关于 系统 稳 态 能 量 的 标准 出 发 ,进行 神经 网 络 学 
习 的 方式 称 概率 式 学 习 。 神 经 网 络 处 于 某 一 状态 的 概率 主要 取决 于 在 此 状态 下 的 能 量 ， 
能 量 越 低 的 状态 ,出 现 的 概率 越 大 。 同 时 ,此 概率 还 取决 于 温度 参数 T.T ERK. SARS 
出 现 概 率 的 差异 便 越 小 , 较 容 易 跳 出 能 量 的 局 部 极 小 点 而 到 全 局 的 极 小 点 , 工 越 小 时 , 情 
形 正好 相反 。 概 率 式 学 习 的 典型 代表 是 玻 尔 效 曼 (Boltzmann) 机 学 习 规则 所 。 它 是 基于 
模拟 退火 的 统计 优化 方法 ,因此 又 称 模拟 退火 式 算 法 。 

7. 竞争 式 学 习 规 则 

纯 争 式 学 习 属 于 无 教师 学 习 方 式 。 这 种 学 习 方式 是 利用 不 同 层 间 的 神经 元 发 生 兴 
性 连接 以 及 同一 层 内 距离 很 近 的 神经 元 间 发 生 同 样 的 兴奋 性 连接 ,而 距离 较 远 的 神经 无 
产生 抑制 性 连接 。 在 这 种 连接 机 制 中 引入 竞争 机 制 的 学 习 方 式 称 为 苑 争 式 学 习 。 它 的 本 
质 在 于 神经 网 络 中 高 层次 的 神经 元 对 低层 次 神经 元 的 输入 模式 进行 苑 争 识别 。 

莞 争 式 机 制 的 思想 来 源 于 人 脑 的 自 组 织 能 力 。 大 脑 能 够 及 时 地 调整 自身 结构 ,自动 
地 回环 境 学 习 ,完成 所 需 执 行 的 功能 ,而 并 不 需要 教师 训练 。 昔 争 式 神经 网 络 亦 是 如 此 ， 
所 以 ,又 把 这 一 类 网 络 称 为 日 组 织 神 经 网 络 。 

从 上 述 学 习 规 则 和 学 习 方 法 中 不 难看 出 ,要 使 人 工 神 经 网 络 具 有 学 习 能 力 ,就 要 使 神 
经 网 络 的 知识 结构 变化 , 即 要 使 得 神经 元 间 的 结合 模式 发 生变 化 ,这 同 把 连接 权 回 量 用 什 
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么 方法 变化 是 等 价 的 。 所 以 ,所 谓 神 经 网 络 的 学 习 , 目 前 主要 是 指 通过 一 定 的 学 习 算 法 实 
现 对 突 触 结 合 强度 (连接 权重 ) 的 调整 ,使 其 具有 记忆 ,识别 ,分 类 ,信息 处 理 和 问题 优化 求 
解 等 功能 。 在 神经 网 络 发 展 过 程 中 ,新 的 学习 规则 会 不 断 出 现 。 


2.4 BP 神经 网 络 


241 基本 思想 


根据 网 络 结构 的 不 同和 学 习 算 法 的 区 别 , 人 工 神经 网 络 可 以 分 为 很 多 种 不 同 的 类 型 ， 
其 中 后 向 传播 学 习 的 前 馈 型 神经 网 络 (Back Propagation Feed-forward Neural Network, 
BPFNN/BPNN) 应 用 最 为 广泛 。 下 面 以 BPNN 为 例 , 说 明神 经 网 络 的 工作 原理 和 运行 
步骤 。 

在 BPNN 中 ,后 向 传播 是 一 种 学 习 算 法 ,体现 为 BPNN 的 训练 过 程 ,该 过 程 是 需要 监 
督学 习 的 ;前 馈 型 网 络 是 一 种 结构 ,体现 为 BPNN 的 网 络 构架 ,图 2.6 就 是 一 个 由 型 的 前 
馈 型 神经 网 络 。 这 种 神经 网 络 结构 清晰 ,使 用 简单 ,而 且 效 率 也 比较 高 ,因此 得 到 了 广泛 
的 重视 和 应 用 。 反 癌 传 播 算法 通过 迭代 处 理 的 方式 ,不 断 地 调整 连接 神经 元 的 网 络 权 重 ， 
使 得 最 终 输出 结果 和 预期 结果 的 误差 最 小 。 

神经 网 络 在 实际 的 应 用 中 分 为 训练 阶段 和 使 用 阶段 ,BPNN 也 不 例外 。 训 练 阶段 根 
据 给 定 的 样本 ,使 用 适当 的 学 习 算 法 (例如 后 回 传 播 学习 算 法 ) 调 整 某 种 结构 的 网 络 ( 例 如 
前 馈 型 神经 网 络 结构 ) 的 网 络 参 数 ( 例 如 网 络 结构 的 层 数 、 每 层 的 神经 元 数目 .连接 权重 、 
神经 元 偏 置 等 ) ,使 得 被 训练 的 网 络 能 够 对 样本 有 很 好 的 拟 合 作用 。 使 用 阶段 采用 已 经 训 
练 好 的 神经 网 络 ,对 一些 未 知 结果 的 输入 进行 运算 ,得 到 输出 。 一 般 情况 下 ,训练 阶段 和 
使 用 阶段 是 两 个 先后 的 过 程 ,一 旦 训练 结束 就 可 以 长 期 使 用 。 训 练 样本 的 选取 和 数量 对 
网 络 的 训练 效果 有 很 大 的 影响 ,过 少 的 样本 将 难以 有 效 地 对 实际 问题 进行 拟 合 , 而 过 多 的 
样本 也 会 使 得 训练 时 间 过 长 ,而 且 会 导致 过 学 习 现 象 (就 是 最 后 一 小 部 分 的 样本 对 结果 的 
影响 比较 大 )。 因 此 ,也 有 一 些 神经 网 络 除 了 在 训练 阶段 调整 网 络 参 数 之 外 ,在 使 用 过 程 
中 也 能 够 目 适 应 地 进行 相关 的 学 习 。 

BPNN 是 一 种 典型 的 神经 网 络 ,广泛 应 用 于 各 种 分 类 系统 , 它 也 包括 了 训练 和 使 用 
两 个 阶段 。 由 于 训练 阶段 是 BPNN 能 够 投入 使 用 的 基础 和 前 提 , 而 使 用 阶段 本 身 是 一 个 
非常 简单 的 过 程 ,也 就 是 给 出 输入 ,BPNN 会 根据 已 经 训练 好 的 参数 进行 运算 ,得 到 输出 
结果 ,因此 这 里 只 针对 BPNN 的 训练 阶段 说 明神 经 网 络 的 学 习 过 程 。BPNN 中 的 前 馈 型 
网 络 结构 是 指 在 处 理 样本 的 时 候 , 从 输入 层 输入 , 回 前 把 结果 输出 到 第 一 隐 含 层 , 然 后 第 
一 隐 含 层 将 接收 的 数据 处 理 后 作为 输出 ,该 输出 作为 第 二 隐 含 层 的 输入 ,以 此 类 推 , 直 到 
输出 层 的 输出 为 止 ; 反 疝 传播 是 指 通 过 比较 输出 层 的 实际 输出 和 预期 的 结果 ,得 到 误差 ， 
然后 通过 相关 的 误差 方程 式 调整 最 后 一 个 隐 含 层 到 输出 层 之 间 的 网 络 权 重 , 之 后 从 最 后 
一 个 隐 含 层 同 倒数 第 二 隐 含 层 进行 误差 反馈 ,调整 它们 之 间 的 网 络 权 重 , 以 此 类 推 ,直到 
输入 层 与 第 一 隐 含 层 之 间 的 网 络 权 重 调整 为 止 。 


24 计算 智能 


24.2 算法 流程 


BPNN 的 训练 过 程 具体 如 下 所 示 ,相应 的 流程 图 和 伪 代 码 如 图 2. 11 所 示 。 
// 功 能 : BP 神经 网 络 训练 过 程 的 伪 代 码 
初始 化 : 对 网 络 权 值 和 神经 元 俩 置 进 procedure BPNN 
Initialization, include the w; and ĝ; 
for each sample X 
送 代 次 数 I while not stop 
//forwards propagation of the input 
for each unit j in the 
hidden and output layer 
//calculate the output O; 
1 


行 随机 赋值 : 选取 第 一 个 输入 样本 


全 | 前 向 求 出 各 个 隐 合 层 和 输出 层 的 输出 


MERRE. KMA bA AIRA 


KA h a H h A inh ok E 


for each unit j in the output layer 
一 //calculate the error E; 
wa 
//back propagation of the error 
本 样本 训练 结束 ? = for each unit j in the hidden layer 
//calculate the error E;; 


T 
送 代 次 数 1 E = 0(1-0) >) Ex 


//adjust the network parameters 


for each network weight w; 


所 有 样本 训练 完毕 5 四 ey T 
for each biased 6; 


a 
= 0;=0;+ (1)E; 
于 至 下 一 个 ey 
进 择 下 一 个 输入 样本 end of while not stop 
end of for each sample X 
结束 end of procedure 


图 2.11 BP 神经 网 络 算法 训练 阶段 的 流程 图 和 伪 代 码 


步骤 1: 初始 化 网 络 权 重 

每 两 个 神经 元 之 间 的 网 络 连接 权重 ws 被 初始 化 为 一 个 很 小 的 随机 数 ( 例 如 一 1.0 一 
1.0, 或 者 一 0.5 一 0.5, 可 以 根据 问题 本 喘 而 定 ), 同 时 ,每 个 神经 元 有 一 个 偶 置 4. ,也 被 初 
始 化 为 一 个 随机 数 。 

对 每 个 输入 样本 x FRAG TR 2 进行 处 理 。 

步骤 2: 向 前 传播 输入 (前 馈 型 网 络 ) 

首先 ,根据 训练 样本 x 提供 网 络 的 输入 层 , 通 过 计算 得 到 每 个 神经 元 的 输出 。 每 个 
神经 元 的 计算 方法 相同 ,都 是 由 其 输入 的 线性 组 合 得 到 ,具体 的 公式 为 


ee o 
i ] 十 e 3 l+e¢ De Oi+4; ) 
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其 中 ,w; 是 由 上 一 层 的 单元 i 到 本 单元 7 的 网 络 权 重 ;O; 是 上 一 层 的 单元 i 的 输出 ;0, 为 
本 单元 的 偏 置 ,用 来 充当 国 值 ,可 以 改变 单元 的 活性 。 从 上 面 的 公式 可 以 看 到 ,神经 


元 7 的 输出 取决 于 其 总 输入 Si = 2 osO, 十 ,然后 通过 激活 函数 O;= as 


终 输 出 ,这 个 激活 图 数 称 为 logistic KARA sigmoid PK BX. HE WE BEAK fa A (BR A 
区 间 o~ ZE A — “MEL. FH F A eR BE TE Be HE AY ATT od, PIE E 7 BP 神经 网 络 算 
法 可 以 对 线性 不 可 分 的 分 类 问题 进行 建 模 , 大 大 拓展 了 其 应 用 范围 。 

步骤 3: 反 向 误差 传播 

由 步骤 2 一 路 癌 前 ,最 终 在 输出 层 得 到 实际 输出 ,可 以 通过 与 预期 输出 相 比 较 得 到 每 
个 输出 单元 j 的 误差 ,如 公式 EF; 二 0; (1 一 0O;) (Tj 一 0;) 所 示 , 其 中 T; 是 输出 单元 j 的 预 
期 输出 。 注 意 ,0O; (1 一 0O;) 是 logistic 图 数 的 导数 ,公式 的 推导 过 程 比较 复杂 ,这 里 仅仅 给 
出 最 终 的 应 用 公式 ,有 兴趣 的 读者 可 以 查阅 相关 的 参考 文献 L9]。 得 到 的 误差 需要 从 后 问 
前 传播 ,前 面 一 层 单元 j 的 误差 可 以 通过 和 它 连接 的 后 面 一 层 的 所 有 单元 & 的 误差 计算 
所 得 ,具体 的 公式 为 

E; = 0,(1—0,) >), waE, 

依次 得 到 最 后 一 个 隐 含 层 到 第 一 个 隐 含 层 每 个 神经 元 的 误差 。 

步骤 4: 网络 权 重 与 神经 元 偏 置 调整 

在 处 理 过 程 中 ,我 们 可 以 一 边 后 疝 传 播 误差 ,一 边 调整 网 络 权 重 和 神经 元 的 国 值 ,但 
是 ,为 了 方便 起 见 , 这 里 先 计算 得 到 所 有 神经 元 的 误差 ,然后 统一 调整 网 络 权 重 和 神经 元 
的 国 值 。 

调整 权重 的 方法 是 从 输入 层 与 第 一 隐 含 层 的 连接 权重 开始 ,依次 加 后 进行 ,每 个 连接 
权重 wy 根据 公式 wp =w 十 Awi 二 wi HOE; 进行 调整 。 

神经 元 偏 置 的 调整 方法 是 对 每 个 神经 元 j ETT UZ sh OO; = 0, + AO, =0, + (DE; 所 示 
的 更 新 。 

其 中 /1 是 学 习 率 ,通常 取 0 一 1 之 间 的 和 常数。 该 参数 也 会 影响 算法 的 性 能 ,经 验 表 明 ， 
太 小 的 学 习 率 会 导致 学习 进行 得 慢 , 而 太 大 的 学 习 率 可 能 会 使 算法 出 现在 不 适当 的 解 之 
间 振 动 的 情况 ,一 个 经 验 规则 是 将 学 习 率 设 为 迭代 次 数 1 的 倒数 ,也 就 是 1/1。 

步骤 5; 判断 结束 

对 于 每 个 样本 ,如果 最 终 的 输出 误差 小 于 可 接受 的 范围 或 者 迭代 次 数 1 达 到 了 一 定 
的 国 值 , 则 选取 下 一 个 样本 , 转 到 步骤 2 重新 继续 执行 ;否则 ,人 迭代 次 数 上 加 1 然后 转向 步 
TR 2 继续 使 用 当前 样本 进行 训练 。 


243 应 用 举例 


为 了 更 加 具体 地 说 明 BPNN 的 计算 过 程 ,我 们 将 通过 一 个 简单 的 分 类 训练 的 例子 ， 
说 明 BPNN 的 运行 机 理 。 

例 2.1 已 知 一 个 前 馈 型 神经 网 络 例子 如 图 2. 12 所 示 。 设 学 习 率 1 为 0.9, 当 前 的 训 
练 样本 为 x 二 {1,0,1) ,而 且 预 期 分 类 标号 为 1, 同 时 , 表 2.3 给 出 了 当前 该 网 络 的 各 个 连 
接 权 重 和 神经 元 偏 置 。 求 该 网 络 在 当前 训练 样本 下 的 训练 过 程 。 
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图 2.12 例 2.1 的 前 馈 型 神经 网 络 


表 2.3 例 2.1 的 网 络 连 接 权重 和 神经 元 偏 置 


EE [ee foe e e 
esj ea far [-as] ee [oo| oe] oa] oz 


解 : 首先 根据 样本 的 输入 ,计算 每 个 单元 的 输出 。 然 后 计算 每 个 单元 的 误差 ,并 后 问 
传播 。 最 后 根据 误差 对 网 络 连接 权重 和 神经 元 偏 置 进行 更 新 调整 。 这 些 计算 过 程 分 别 如 
表 2. 4、 表 2.5 MR 2.6 所 示 。 


表 2.4 每 个 神经 元 的 总 输入 和 输出 计算 表 


总 输入 S; = da 40; +ô; 
i 


0.2+0— 0.5—0.4=—0.7 


一 0. 3 十 0 十 0. 2+0. 2 一 0. 1 
(—0. 3) X (0. 332) — (0. 2) X CO. 525) +0. l= — 0. 105 


R25 每 个 神经 元 的 误差 计算 表 
神经 元 j 误差 E; 
6 (0. 474) X (1—0. 474) X (1—0. 474) =0. 1311 


(0.525) X (1—0. 525) X (0. 1311) X ( —0. 2) = — 0. 0065 
(0. 332) X (1—0. 332) X (0. 1311) X (— 0. 3) = — 0. 0087 


2.6 网 络 连接 权重 和 神经 元 偏 置 更 新 计算 表 


神经 元 j 调整 后 的 更 新 值 
w46 一 0. 3+ (0. 9) X (0. 1311) X (0. 332)= — 0. 261 
w56 一 0. 2+ (0. 9) X (0. 1311) X (0. 525) = — 0. 138 
W4 0. 2+ (0. 9) X (—0. 0087) X (1) =0. 192 
w5 —0. 3+ (0. 9) X (—0. 0065) X (1) = — 0. 306 
W24 0. 4+ (0. 9) X (—0. 0087) X (0) =0. 4 
w25 0. 1+ (0. 9) X (—0. 0065) X (0) =0. 1 
w34 一 0. 5+ (0. 9) X (—0. 0087) X (1) = — 0. 508 
W35 0. 2+ (0. 9) X (—0. 0065) X (1) =0. 194 
Os 0. 1+ (0. 9) X (0. 1311) =0. 218 
0; 0. 2+ (0.9) X (—0. 0065) =0. 194 


0, 一 0. 4+ (0. 9) X (—0. 0087) = — 0. 408 


第 2 章 神经 网 络 


2.5 进化 神经 网 络 


尽管 人 工 神经 网 络 目 20 世纪 80 年 代 复 兴 后 的 20 多 年 里 取得 了 令 人 瞩目 的 广泛 发 
展 与 应 用 ,但 是 由 于 网 络 本 身 的 不 确定 性 使 得 在 设计 和 使 用 的 过 程 中 需要 花费 大 量 的 时 
间 去 寻找 合适 的 网 络 ,而 作为 人 工 神 经 网 络 本 身 应 该 具有 的 优势 : 强 学 习性 、 强 适应 性 、 
大 规模 并 行 处 理 能 力 等 都 不 能 很 好 地 体现 出 来 。 对 于 某 一 具体 问题 ,人 工 神经 网 络 的 设 
计 是 极其 复杂 的 工作 ,至 今 仍 没有 系统 的 规律 可 以 遵循 。 目 前 ,一般 凭 设计 者 主观 经 验 与 
反复 实验 挑选 ANN 设计 所 需 的 工具 "J 。 这 样 不 仅 使 得 设计 工作 的 效率 很 低 , 而 且 还 不 
能 保证 设计 出 的 网 络 结构 和 权重 等 参数 是 最 优 的 ,从 而 造成 资源 的 大 量 浪 费 和 网 络 的 性 
能 低下 。 这 种 状况 极 大 地 限制 了 神经 网 络 的 应 用 与 发 展 。 为 了 解决 这 个 问题 ,人 研究 者 提 
出 了 使 用 进化 算法 去 优化 神经 网 络 ,通过 进化 算法 和 人 工 神 经 网 络 的 结合 使 得 神经 网 络 
能 够 在 进化 的 过 程 中 自 适应 地 调整 其 连接 权重 “*' 沾 、 网 络 结构 "2 引 、 学 习 规则 中 等 这 些 
在 使 用 神经 网 络 的 时 候 难 以 确定 的 参数 ,从 而 形成 了 进化 神经 网 络 (Evolutionary Neural 
Networks. ENN/EANN), 

进化 算法 (Evolutionary Algorithms, EAs) PUS] 是 一 种 基于 生物 进化 和 演化 的 算法 ， 
典型 的 有 遗传 算法 (Genetic Algorithms, GA)  、 进 化 策略 (Evolution Strategy, ES) 、 
遗传 编程 (Genetic Programming, GP)“, 3 4k # 8j (Evolutionary Programming, 
EP)“?) 蚁 群 优化 算法 (Ant Colony Optimization, ACO) 和 粒子 群 优化 算法 (Particle 
Swarm Optimization,PSO) 等 。 这 些 算法 将 在 后 面 的 草 节 分 别 进 行 介 绍 。 由 于 进化 算法 
不 要 求 待 解 问题 连续 、 可 微 , 仅 仅 要求 问 题 可 计算 ,而 且 是 一 种 全 局 的 搜索 算法 ,因此 非常 
适合 用 于 优化 神经 网 络 。 进 化 算法 和 神经 网 络 的 结合 给 神经 网 络 指明 了 新 的 发 展 方 回 ， 
对 解决 神经 网 络 结构 复杂 参数 难 调 等 问题 起 到 了 重大 的 作用 。 采 用 进化 算法 和 神经 网 
络 结合 的 算法 已 经 取得 了 很 好 的 应 用 效果 "5 。 


2.6 神经 网 络 的 应 用 


随 着 神经 网 络 的 不 断 改 进 和 完善 ,ANN 被 众多 的 研究 者 应 用 到 了 越 来 越 多 的 领域 
当中 。 

d) 民用 应 用 领域 有 : 语言 识别 .图 像 识 别 与 理解 .计算 机 视觉 .智能 机 器 人 故障 检 
测 、 实 时 语言 翻译 ,企业 管理 ,市 场 分 析 、 决 策 优化 、 物 资 调运 、 自 适应 控制 .专家 系统 、 智 能 
接口 ,神经 生理 学 、 心 理学 和 认 知 科学 研究 等 。 

(2) 军用 应 用 领域 有 : 语音 、 图 像 信 息 的 录取 与 处 理 ,雷达 、 声 纳 的 多 目标 识别 与 跟 
踪 , 战 场 管理 和 决策 支持 系统 ,军用 机 器 人 控制 ,各 种 情况 ,信息 的 快速 录取 、 分 类 与 查询 ， 
导弹 的 智能 引导 ,保密 通信 ,航天 需 的 姿态 控制 等 。 

在 本 节 ,我 们 将 从 识别 与 聚 类 .神经 优化 、 建 模 与 预测 .控制 与 处 理 等 大 的 方面 对 人 工 
神经 网 络 的 应 用 进行 介绍 。 由 于 ANN 目前 已 经 在 许多 研究 和 实践 领域 得 到 了 广泛 的 发 
展 和 应 用 ,因此 本 节 所 介绍 的 也 仅仅 是 千 百 种 应 用 中 的 一 部 分 ,希望 读者 能 帘 一 斑 而 见 全 
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鹏 ,如 果 需 要 进一步 认识 和 了 解 , 可 以 参考 相关 的 书籍 和 经 典 的 综述 文章 。 

1. 识别 与 聚 类 应 用 

人 工 神 经 网 络 的 典型 应 用 就 是 模式 识别 、 分 类 与 聚 类 。 一 般 来 说 ,模式 识别 和 分 类 是 
指 通过 使 用 一 系列 的 训练 数据 对 神经 网 络 进行 训练 ,在 有 教师 指导 学 习 方 法 下 ,让 神经 网 
络 在 训练 数据 的 训练 下 调整 网 络 的 结构 和 权重 ,以 达到 正确 识别 的 目的 。 例 如 2.4 WY 
BP 神经 网 络 就 是 一 个 典型 的 模式 识别 与 分 类 的 例子 。 和 传统 的 判别 式 统计 分 类 方法 相 
比 , 人 工 神 经 网 络 方法 不 需要 被 识别 问题 具有 线性 可 分 的 前 提 , 因 此 能 够 应 用 到 非 线 性 的 
识别 与 分 类 中 ,具有 非常 广泛 的 应 用 价值 。 如 图 2. 13(a) 所 示 , 神 经 网 络 通 过 训练 和 学 
习 , 获 取 了 非 线性 的 识别 和 分 类 能 力 , 从 而 能 够 将 输入 数据 通过 训练 好 的 非 线性 结构 映射 
到 输出 空间 。 目 前 ,神经 网 络 已 经 在 手写 字符 ,汽车 牌照 ,指纹 、 声 音 和 人 脸 识 别 等 模式 识 
别 领域 取得 了 成 功 的 应 用 ,而 且 还 可 用 于 目标 的 目 动 识别 .目标 跟踪 、 机 融 人 传 感 硕 图 像 
识别 及 地 震 信 和 号 的 鉴别 等 。 


(b) 聚 类 
图 2. 13 ”模式 识别 分 类 与 聚 类 


聚 类 和 分 类 的 区 别 在 于 聚 类 需要 划分 的 类 是 未 知 的 , 它 要 求 将 数据 对 象 分 组 为 多 个 
KM fe (cluster) ,在 同一 复 中 的 对 象 之 间 具 有 较 高 的 相似 度 ,而 不 同 复 中 的 对 象 差别 较 
大 ,如 图 2.13(b) 所 示 。 关 于 人 工 神 经 网 络 在 模式 识别 、 分 类 、 聚 类 领域 的 相关 应 用 的 更 
多 内 容 , 读 者 可 以 参考 相关 书籍 ?7 。 

2. 计算 与 优化 应 用 

神经 计算 是 人 工 神 经 网 络 的 一 个 重要 应 用 手段 ,也 为 各 种 优化 问题 提供 了 解决 的 方 
案 。 优 化 问题 就 是 需要 在 问题 的 解 空 间 里 面 寻找 一 个 最 优 的 解 ,在 满足 一 定 约束 条 件 下 
使 得 目标 孔 数 最 大 化 或 者 最 小 化 。 由 于 神经 网 络 具 有 并 行 搜 索 处 理 信息 、 联 想 记 忆 等 特 
点 ,在 搜索 系统 的 全 局 最 优 或 局 部 最 优 解 方面 ,具有 很 大 的 优势 ,因此 在 优化 问题 上 得 到 
了 广泛 的 研究 和 应 用 。 

在 使 用 人 工 神 经 网 络 进行 优化 计算 的 时 候 , 一 般 都 是 选择 Hopfield 神经 网 络 。 例 
如 ,Hopfield 和 Tank ®t 在 1985 年 就 提出 了 一 种 使 用 神经 网 络 求解 离散 组 合 优化 问题 
的 方法 。 他 们 提出 的 神经 网 络 方法 ,对 于 不 超过 30 个 城市 的 TSP 问题 一 般 都 能 够 找到 
最 优 解 或 者 近似 最 优 解 ,但 是 当 城 市 规模 变 大 的 时 候 , 效 果 就 不 大 理想 了 。 

近年 来 , 随 大 进化 计算 的 发 展 , 人 们 更 加 倾 品 于 使 用 遗传 算法 、 蚁 群 优 化 算法 、 粒 子 群 
优化 算法 等 方法 对 各 种 连续 或 者 离散 领域 的 最 优化 问题 进行 求解 。 而 神经 网 络 方法 则 更 
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多 地 使 用 在 模式 识别 、 聚 类 分 类 、 建 模 预 测 等 方面 。 

3. 建 模 与 预测 应 用 

人 工 神经 网 络 的 非 线性 处 理 能 力 使 得 它 在 各 种 系统 建 模 上 具有 很 大 的 优势 。 人 工 神 
经 网 络 应 用 在 非 线性 系统 建 模 上 的 时 候 , 实 质 上 就 是 通过 训练 神经 网 络 ,让 其 在 训练 数据 
中 获取 知识 ,并 且 完 成 从 输入 到 输出 的 非 线性 映射 过 程 。 处 理 该 类 问题 一 般 都 是 采用 有 
教师 学 习 方法 ,从 提供 的 训练 数据 中 挖掘 输入 和 输出 之 间 的 内 在 联系 ,寻找 系统 的 内 在 规 
律 , 利 用 优化 计算 方法 ,建立 系统 的 非 线 性 模型 。 图 2. 14(a) 所 示 就 是 人 工 神经 网 络 对 郴 
数 进行 拟 合 建 模 的 例子 。 通 过 训练 样本 的 拟 合 ,神经 网 络 可 以 得 到 将 输入 映射 到 输出 的 
模型 。 一 般 而 言 ,多 层 网 络 结构 是 比较 第 用 于 实际 应 用 中 的 ,因为 它 能 够 对 任意 困 数 进行 
一 定 精 度 的 盘 近 。 神 经 网 络 用 于 明 数 盘 近 建 模 的 现实 应 用 主要 包括 两 类 : 一 类 是 没有 现 
实 模 型 的 问题 ,例如 其 数据 都 是 通过 实验 或 者 观察 的 方法 得 到 的 ; 另 一 类 是 理论 模型 非常 
林 , 以 至 于 很 难 使 用 该 模型 对 已 知 数据 进行 计算 和 分 析 的 问题 ,例如 微生物 学 中 的 细菌 
生长 预测 等 问题 “1 人 1 。 


| 
训练 数据 
X f(1) (4) ART [Al ¢ t(n) t(n+1) 
(a) EH (RIT ) (b) 预测 


图 2.14 神经 网 络 建 模 与 预测 


其 实 ,在 很 多 情况 下 ,神经 网 络 建 模 是 为 了 预测 所 15 。 所 谓 神 经 网 络 预测 就 是 根据 
一 定数 量 的 历史 样本 数据 (一 般 为 表征 某 一 种 现象 时 间 序 列 的 数据 ,例如 交通 流量 、 外 汇 
走势 等 ) 对 神经 网 络 进行 训练 ,然后 用 来 对 当前 的 ,或 者 未 来 的 时 刻 情 景 进行 预测 ,如 图 
2.14(b) 所 示 。 例 如 已 经 得 到 了 时 间 序 列 数据 样本 11),1(2),…,t(n) 以 及 其 对 应 的 输 
出 y(1)，y(2),… ,y(n) ,如 果 想 预测 上 2 十 1) 时 刻 的 输出 (2 十 1) ,可 以 通过 以 下 的 方式 
训练 和 使 用 网 络 。 在 训练 的 时 候 , 可 以 将 一 定 每 长 度 为 工 的 历史 数据 作为 一 个 输入 , 例 
如 zi 一 工 十 1) ，zG 一 二 十 2) ,GD) ,其 中 i 三 L, 作 为 网 络 的 输入 ,yO 是 输出 ,作为 第 一 
个 训练 样本 。 然 后 输入 7Gi 一 工 十 2), 1Gi 一 工 十 3),…,t(i 十 1) 和 输出 y(i 十 1) 作 为 第 二 个 
训练 样本 ,等 等 ,对 神经 网 络 进行 训练 ,得 到 良好 的 权重 。 在 使 用 的 过 程 中 ,为 了 得 到 
1(n 十 1) 时 刻 的 输出 y(n 十 1) ,我 们 只 需要 使 用 tn 一 LL 十 2) ,tCn 一 LL 十 3),…,t(n 十 1) 作 为 
输入 ,通过 训练 好 的 神经 网 络 即 可 得 到 输出 y(n 十 1)。 在 这 里 ,长 度 工 是 一 个 参数 ,对 网 
络 的 预测 性 能 有 一 定 的 影响 ,需要 根据 具体 的 问题 设 定 ,或 者 通过 不 断 的 尝试 而 找到 最 优 
的 设置 。 

4. 控制 与 处 理应 用 

神经 网 络 已 经 在 自动 控制 和 信息 处 理 等 各 个 领域 取得 了 相当 成 功 的 应 用 ”5 。 在 
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自动 控制 领域 ,其 主要 的 应 用 包括 系统 建 模 和 辨识 参数 整定 .极点 配置 .内 模 控 制 、 优 化 
设计 、 预 测控 制 、 最 优 控制 滤波 与 预测 容错 控制 等 。 另 外 ,神经 网 络 还 在 机 融 人 控制 方面 
发 挥 看 重要 的 作用 ,能 够 实现 对 机 需 人 轨道 控制 ,以 及 操作 机 入 人 有 眼 手 系 统 , 币 用 于 机 械 
手 的 故障 诊断 及 排除 、 智 能 目 适 应 移动 机 人 各 人 的 导航 、 视 觉 系统 等 。 


在 各 种 信息 、 信 号 处 理 领 域 , 神 经 网 络 也 有 重要 的 突破 。 例 如 在 图 像 处 理 方面 ,神经 


网 络 能 够 很 好 地 对 图 像 进行 边缘 监测 、 图 像 分 割 、 图 像 压 缩 和 图 像 恢 复 等 操作 。 此 外 , 神 
经 网 络 被 广泛 使 用 于 信号 处 理 方面 ,例如 目标 检测 、 多 目标 跟 踊 、 灯 波 去 品 、 畸 形 波 恢 复 、 
雷达 回 波多 目标 分 类 、 运 动 目标 速度 估计 多 探测 信号 融合 等 。 
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请 指出 人 工 神经 元 是 怎样 去 模拟 生物 神经 元 的 结构 和 功能 的 。 
简 述 人 工 神 经 网 络 的 发 展 历程 。 

人 工 神经 网 络 有 哪些 典型 的 结构 和 重要 的 学 习 算法 ? 

参考 2.4 节 的 内 容 , 上 机 编程 实现 BPNN 算法 。 

通过 查阅 相关 参考 文献 ,了 解 神 经 网 络 在 各 个 领域 的 应 用 。 
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目 然 语言 中 的 许多 概念 都 具有 模糊 
性 ， 在 用 传统 数学 方法 精确 处 理 它们 的 
时 候 产 生 了 不 少 麻烦 。 例 如 ,“ 沙 堆 ” 这 
个 概念 ， 究 竟 多 少 粒 沙子 才能 叫做 “ 沙 


堆 ” 呢 ? 如 果 这 里 有 一 个 确切 的 临界 值 ， 


堵 么 ， 比 这 个 值 少 一 粒 呢 ? 少 两 粒 呢 ? 


irs FEND PERD WR 
= = 


模糊 逻辑 (Fuzzy Logic, FL) 
在 一 定 程度 上 解决 了 这 个 问题 。 

在 模糊 逻辑 中 ， 一 个 命题 不 
再 非 真 即 假 ， 它 可 以 被 认为 是 
“FSP AY EL” = 模糊 逻辑 中 的 隶属 
度 在 [0,1] 之 间 取 值 ， 用 以 表示 程 
度 。 模糊 逻 辑 在 机 器 和 自然 语言 
之 间架 设 了 一 座 桥 梁 . 
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模糊 逻辑 作为 人 工 智能 领域 的 一 种 重要 工具 ,为 表示 和 处 理 自然 语言 和 人 类 思维 的 
模糊 性 提供 了 一 种 强 有 力 的 手段 。 

本 草 对 模糊 逻辑 进行 介绍 ,包括 模糊 逻辑 的 基本 思想 .研究 和 应 用 进展 ,以 及 模糊 集 
合 、 模 糊 推理 .模糊 计算 和 模糊 神经 网 络 。 通 过 对 相关 理论 及 其 应 用 的 介绍 ,本草 为 谈 者 
呈现 了 模糊 理论 的 主要 图 景 和 广泛 的 应 用 前 景 ,并 提供 了 相关 的 参考 资料 ,同时 通过 一 些 
具体 的 实例 加 深 读者 对 模糊 迎 辑 和 模糊 计算 的 认识 和 了 人 解 。 本 草 的 主要 内 容 如 下 : 

。 模糊 逻辑 便 介 ; 

。 模糊 集合 与 模糊 逻辑 ; 

。 模糊 逻辑 推理 ; 

。 模糊 计算 的 流程 ; 

。 模糊 逻辑 的 应 用 。 


3.1 模糊 逻辑 简介 


3.1.1 模糊 逻辑 的 基本 原理 


模糊 逻辑 (Fuzzy Logic,FL) 是 一 种 使 用 隶属 度 代 蔡 布尔 真 值 的 逻辑 ,是 模糊 理论 
的 重要 内 容 , 在 人 工 智 能 领域 有 重要 意义 。 与 经 典 的 二 值 逻 辑 不 同 , 它 并 不 使 用 截然 
不 同 的 二 值 来 表达 所 有 命题 ,而 是 使 用 隶属 度 来 表达 ,因而 更 适合 描述 实际 生活 中 陈 
述 的 不 精确 性 。 模 糊 迎 辑 目 前 已 经 在 工业 控制 等 领域 获得 了 成 功 的 应 用 ,并 市 来 了 广 
沁 的 实际 效益 。 

模糊 理论 的 创始 人 ,加 州 大 学 伯克利 分 校 的 L， Zadeh 教授 时 提出 过 一 个 不 相 容 原 
理 ”:“ 当 系统 的 复杂 性 增长 时 ,人 们 对 系统 特性 作出 精确 而 有 效 的 描述 的 能 力 就 相应 降 
低 ,直到 达到 一 个 国 值 。 一 旦 超过 这 个 值 ,精确 性 和 有 效 性 将 变 成 两 个 相互 排斥 的 特性 。?” 
也 就 是 说 , 当 系 统 的 复杂 性 达到 一 定 程度 时 ,就 不 能 同时 对 系统 进行 既 精 确 又 有 效 的 描 
述 。 描 述 的 精确 性 会 损害 有 效 性 ,而 有 效 性 要 牺牲 精确 性 。 系 统 越 复杂 ,这 一 现象 越 
明显 。 

真实 世界 无 疑 是 复杂 的 ,传统 数学 方法 与 人 的 思维 采用 不 同 的 方式 描述 复杂 的 世 
界 : 传统 的 数学 方法 第 第 试图 进行 精确 定义 ,而 人 关于 真实 世界 中 事物 的 概念 往往 是 
模糊 的 ,没有 精确 的 界限 和 定义 。 在 处 理 一 些 问题 时 ,精确 性 和 有 效 性 形成 了 矛盾 , 诉 
诸 精 确 性 的 传统 数学 方法 变 得 无 效 , 而 具有 模糊 性 的 人 类 思维 却 能 轻 兄 解决 。 例 如 人 
腔 识 别 问题 ,这 一 问题 对 于 擅长 精确 计算 的 计算 机 来 说 十 分 棘手 ,然而 对 人 类 的 幼儿 
来 说 却 并 不 困难 。 

模糊 理论 为 计算 机 提供 了 一 种 处 理 现实 世界 中 自然 语言 与 人 类 思维 模糊 性 的 方法 。 
其 理论 的 基本 出 发 点 之 一 就 是 取消 二 值 之 间 非 此 即 彼 的 对 立 , 用 隶属 度 表 示 二 值 间 的 过 
渡 状 态 。 这 为 进行 不 精确 而 有 效 的 描述 提供 了 便利 ,也 为 将 符合 人 类 思维 习惯 的 模糊 推 
理 、 模 糊 决 策 移植 到 计算 机 中 提供 了 理论 工具 。 经 典 二 值 迎 辑 中 ,通常 以 0 表示 “ 假 ”* 以 1 
表示 “" 真 ”, 一 个 命题 非 真 即 假 。 但 在 实际 应 用 中 ,这 种 非 此 即 彼 的 逻辑 会 遇 到 不 少 问题 。 
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例如 , “室温 在 27C 是 高 温度 ”, 这 个 命题 真 值 如 何 呢 ?如 有 果 考 虑 到 命题 的 实际 意义 ,无论 
认为 是 还 是 否 , 答 案 都 过 于 极端 。 在 模糊 逻辑 中 ,一 个 命题 不 再 非 真 即 假 , 它 可 以 被 认为 
是 “部 分 的 真 ”。 模 糊 逻 辑 中 的 隶属 度 在 [0,1] 之 间 取 值 , 用 以 表示 程度 。 上 面 关于 温度 的 
问题 ,可 以 认为 该 温度 对 “高 温度 ”的 隶属 度 是 0.6, 即 “部 分 的 高 温 ”。 由 于 模糊 逻辑 更 接 
近 自 然 语言 以 及 人 类 的 思维 方式 , 故 可 以 为 人 工 智能 领域 提供 一 种 重要 的 研究 方法 。 

需要 注意 的 是 ,尽管 以 "模糊 ?为 名 ,但 模糊 逻辑 本 身 并 非 捉摸 不 定 的 。 模 糊 逻 辑 扮演 
了 自然 语言 与 机 器 之 间 的 接口 ,其 自身 并 没有 不 确定 性 和 不 可 预测 性 ,对 于 特定 的 模糊 系 
统 ,给 定 系统 的 输入 ,其 输出 是 完全 可 以 预测 的 。 


3.1.2 模糊 逻辑 与 模糊 系统 的 发 展 历 程 


20 世纪 20 年 代 , 波 兰 数学 家 Jan Lukasiewicz 提出 了 多 值 逻 辑 (many-valued logic), 
1937 年 量子 哲学 家 Max Black 提出 了 不 明确 集合 (vague set) ,这 些 均 为 模糊 逻辑 的 发 展 
竟 定 了 思想 来 源 和 理论 基础 。 美 国 加 州 大 学 伯克利 分 校 的 LZadeh 教授 于 1965 年 提出 
了 模糊 集合 (fuzzy sets) ,1973 年 又 提出 了 模糊 逻辑 5 。L. Zadeh 教授 提出 了 一 个 著名 
的 不 相 容 原理 , 即 当 系统 达到 一 定 复杂 度 的 时 候 , 对 系统 描述 的 精确 性 和 有 效 性 成 为 不 
盾 。 这 一 理论 为 模糊 逻辑 在 应 用 中 的 有 效 性 提供 了 文 持 。 

模糊 理论 被 提出 后 ,在 争议 中 继续 发 展 ,并 在 实践 中 得 到 了 应 用 。1974 年 ,第 一 个 模 
糊 控 制 匡 汽 引擎 系统 和 第 一 个 模糊 交通 指挥 系统 诞生 了。 这 两 个 系统 的 设计 者 是 喘 国 伦 
AIS Ea bey Ebrahim Mamdani 教授 。 他 认为 采用 模糊 理论 的 优点 是 可 以 利用 经 
验 法 则 ,而 不 需要 程序 模型 。1980 年 ,丹麦 的 史密斯 公司 开始 使 用 模糊 控制 操作 水 泥 旋 
转 窑 ,以 控制 锻 烧 温度 、 出 口 温度 、 旋 转 情 况 、 冷 却 速 率 等 。 

1984 年 ,国际 模糊 系统 学 会 (International Fuzzy Systems Association ,IFSA) 成 立 了 
日 本 .北美 .欧洲 .中 国 大 陆 四 个 分 会 。1987 年 ,第 二 届 模 糊 系统 学 大 会 在 日 本 东京 召开 ， 
并 展示 了 模糊 目 动 控制 应 用 于 仙台 市 地 铁 的 目 动 驾驶 的 成 果 。 此 后 ,模糊 理论 获得 了 较 
广泛 的 关注 和 进一步 发 展 。 

进入 20 世纪 90 年 代 , 模 糊 系统 在 日 本 电表 行业 得 到 了 广泛 应 用 ,并 吸引 了 大 量 人 研究 
者 的 注意 。 然 而 ,尽管 模糊 系统 有 众多 优点 ,对 模糊 系统 的 严格 数学 分 析 方 法 并 没有 被 构 
建 ,模糊 系统 的 设计 方法 没有 成 熟化 、 系 统 化 ,其 适用 的 问题 也 没有 得 到 严格 界定 。 面 对 
这 些 困 难 , 模糊 理论 的 创始 人 L. Zadeh 教授 于 1993 年 提出 了 软 计 算 (Soft 
Computing)! ,试图 以 人 类 的 思维 方式 和 自然 语言 表达 变量 之 间 的 关系 ,并 以 条 件 命题 
记录 法 则 。 图 3. 1 给 出 了 模糊 理论 的 发 展 历程 。 

自 1965 年 模糊 集合 论 被 创建 以 来 ,在 几 十 年 中 ,模糊 系统 理论 和 应 用 均 得 到 了 广泛 
的 关注 并 取得 了 飞速 的 发 展 。 模 糊 逻 辑 与 神经 网 络 的 结合 ,模糊 逻辑 与 进化 计算 的 结合 
等 也 为 解决 一 些 复杂 非 线 性 问题 提供 了 新 的 选择 。 目 前 ,模糊 逻辑 已 经 在 系统 工程 .月 动 
控制 ,信号 处 理 、 辅 助 决策 、 人 工 智 能 、 心 理学、 生态 学 、 语 言 学 等 众多 人 研究 领域 取得 了 广泛 
的 成 功 ,并 成 为 新 世纪 人 工 智 能 领域 具有 巨大 发 展 淤 力 的 方 回 之 一 。 很 多 重要 的 国际 学 
术 期 刊 和 国际 会 议 都 对 模糊 逻辑 方面 的 研究 成 果 非 党 重视, 收录 了 很 多 高 质量 的 学 术 文 
草 。 表 3. 1 列举 了 模糊 系统 相关 的 重要 学 术 期 刊 和 国际 会 议 。 
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20 世 纪 初 20 thee 70 年 代 20 世 纪 70 一 80 年 代 20 世 纪 90 年 代 
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糊 交 通 指挥 系统 诞生 教授 提出 了 软 计算 
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图 3.1 模糊 理论 的 发 展 历程 


表 3.1 模糊 逻辑 相关 的 学 术 期 刊 和 国际 会 议 


IEEE Transactions on Fuzzy Systems 
IEEE Transactions on Systems, Man and Cybernetics 


FRAR Journal of System, Control and Information 
IEEE International Conference on Fuzzy Systems 
国际 会 议 IEEE International Conference on Systems; Man, and Cybernetics 


International Conference on Fuzzy Systems and Knowledge Discovery 


3.2 ”模糊 集合 与 模糊 逻辑 


本 节 是 关于 模糊 集合 、 模 糊 逻 辑 、 模 糊 关 系 的 基础 知识 ,为 介绍 模糊 推理 .模糊 计 算 做 
理论 准备 ,包括 下 列 要 点 : 

。 模糊 集合 的 概念 ; 

。 模糊 集合 的 隶属 度 函 数 ; 

。 模糊 集合 上 的 运算 及 其 基本 和 定律; 

。 模糊 逻辑 及 其 基本 定律 ; 

。 模糊 关系 及 其 合成 运算 。 


32.1 模 灿 集合 与 隶属 度 函 数 


按照 经 典 集合 的 定义 ,对 于 任意 一 个 集合 A, 论 域 中 的 任何 一 个 元 素 xz, 或 者 属于 A， 
或 者 不 属于 A ,没有 中 间 情 况 存 在 。 论 域内 的 任意 元 素 与 集合 A 的 关系 可 以 用 一 个 特征 
函数 表达 ,而 同时 ,集合 A 也 可 以 由 其 特征 函数 定义 : 

ie PY € A 
Pree oe (3.1) 


AP FARRA CERAT A 和 完全 不 属于 A 两 种 情况 ,任何 中 间 情 况 都 
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是 不 存在 的 。 这 种 非 此 即 彼 在 数学 上 非常 卓然, 然而 ,由 日 常生 活 中 的 概念 规定 的 集合 却 
并 非 总 是 这 样 清晰 ,用 * 非 此 即 彼 ” 的 方式 来 处 理 它 们 往往 会 招来 麻烦 。 

有 一 个 著名 的 沙 堆 悖 论 体现 了 这 种 困难 ,如 图 3.2 所 示 。 且 看 一 个 问题 :“ 从 一 个 沙 
堆 里 拿 走 一 粒 沙子 ,这 还 是 一 个 沙 堆 吗 ?” 如 有 果 管 案 只 能 是 “是 ”或 “ 否 ”, 看 上 去 显然 应 该 选 
择 “ 是 ”。 因 为 在 一 般 人 的 概念 里 ,“ 沙 堆 ” 指 的 就 是 由 大 量 的 沙子 聚集 在 一 起 构成 的 事物 ， 
从 中 拿 走 区 区 一 粒 , 目 然 还 是 一 个 沙 堆 。 然 而 ,如 有 果 回 答 " 是 ", 这 样 顺 推 下 去 就 会 择 和 人 陷 
BF: 从 上 次 剩 下 的 沙 堆 里 再 合 走 一 粒 沙 子 , 剩 下 的 还 是 一 个 沙 堆 ,那么 ,如 此 反复 ,直到 只 
剩 下 两 三 粒 沙子 甚至 只 有 一 粒 沙子 时 ,这 也 还 是 一 个 沙 堆 了 。 这 显然 是 与 常识 相 迟 的 。 
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这 里 的 问题 就 在 于 “ 沙 堆 ” 这 个 概念 是 模糊 的 ,没有 一 个 清晰 的 界限 将 “ 沙 堆 ” 与 “ 非 沙 
堆 ” 分 开 。 我 们 没有 办 法 明确 指出 ,在 这 个 不 断 拿 走 沙 子 的 过 程 中 ,什么 时 候 “ 沙 堆 ” 不 再 
是 “ 沙 堆 ”。 与 “ 沙 堆 ” 相 似 的 模糊 概念 还 有 “年 轻 人 ”“ 小 个 子 ”“ 大 房子 ”等 。 在 用 传统 数 
学 方法 处 理 这 些 概 念 时 ,它们 的 模糊 性 让 人 头疼 ,然而 有 些 消除 这 种 模糊 性 的 尝试 却 是 与 
常识 相 违 的 。 以 “年 轻 人 ”构成 的 集合 为 例 , 如 果 我 们 规定 30 岁 以 下 的 人 才 是 年 轻 人 ,这 
个 概念 的 模糊 性 就 被 消除 了 ,但 是 , 比 30 岁 大 1 天 的 人 就 完全 被 排除 在 “年 轻 人 ”之 外 ,这 
显然 是 不 合理 的 。 

模糊 集合 理论 在 一 定 程度 上 解决 了 这 个 问题 。 在 回答 沙 堆 悖 论 中 “是 否 为 沙 堆 ” 的 问 
题 时 ,我 们 可 以 不 再 仅仅 使 用 “是 ”和 “ 否 ” 两 种 答案 ,而 是 可 以 回答 “部 分 的 是 ”, 即 给 出 对 
“ 沙 堆 ” 的 隶属 度 。 使 用 这 种 方法 来 描述 “ 沙 堆 ”“ 年 轻 人 ”“ 小 个 子 ”“ 大 房子 ”等 集合 时 ， 
这 些 集 合 就 不 再 有 明确 的 边界 ,我们 将 之 称 为 模糊 集合 。 为 区 别 于 经 典 集合 ,可 以 将 一 个 
模糊 集合 记 作 A. 

1965 年 ,Zadeh 教授 已 最 早 提出 了 模糊 集合 的 概念 并 给 出 其 定义 。 模 糊 集 合 的 定 

定义 3.1 设 存在 一 个 普通 集合 U,U 到 [0,1] 区 间 的 任 一 映射 us 都 可 以 确定 U 的 
一 个 模糊 子 集 , 称 为 U 上 的 模糊 集合 A 。 其 中 映射 wa 叫做 模糊 集 A 的 隶属 度 函 数 , 对 于 
U 上 一 个 元 素 &w ,pa Co 叫做 对 于 模糊 集 A 的 隶属 度 , 也 可 写作 A). 

这 里 ,U 被 称 为 模糊 集合 A 的 论 域 ,wa 是 该 模糊 集 的 隶属 度 孔 数 ,U 上 的 任意 元 素 
u 不 再 只 有 属于 A 和 不 属于 A 两 种 情况 ,每 个 元 素 u 都 有 对 于 A 的 隶属 度 paw). RIR 
BE ja (zx) 表 示 程 度 , 它 的 值 越 大 ,表明 vw 属于 A 的 程度 越 高 ,反之 则 表明 w 属于 A 的 程度 
越 低 。 

经 典 集合 可 以 看 作 一 种 退化 的 模糊 集合 , 即 论 域 中 不 属于 该 经 典 集合 的 元 素 隶 属 度 
为 0, 其 余 元 素 隶 属 度 为 1。 

模糊 集合 的 表示 方法 有 很 多 种 ,其 中 常用 的 有 如 下 两 种 : 
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1. Zadeh 表示 法 
该 表示 法 的 根据 是 Zadeh 教授 对 模糊 集合 的 定义 。 当 论 域 U 为 离散 集合 时 ,一 个 模 
糊 集 合 可 以 表示 为 : 


Cu) 
Aaa mae (3. 2) 
T uev Y 
当 论 域 U 为 连续 集合 时 ,一 个 模糊 集合 A 可 以 表示 为 : 
Cu) 
A =Í 一 一 (3. 3) 


需要 注意 的 是 ,这 里 仅仅 是 借用 了 求 和 与 积分 的 符号 ,并 不 表示 求 和 或 积分 。 

2. 序 对 表示 法 

对 于 一 个 模糊 集合 来 说 ,如 果 给 出 了 论 域 上 所 有 元 素 对 其 隶属 度 ,就 等 于 表示 出 了 该 
集合 。 在 这 种 思想 的 指导 下 ,可 以 用 序 对 表示 法 来 表示 模糊 集合 A。 

A = { (usya (u)) | u E U} (3. 4) 

其 中 , 序 对 (xpa(z)) 由 论 域 中 的 一 个 元 素 u WR 对 模糊 集合 A 的 隶属 度 构 成 。 

下 面 通过 具体 例子 说 明 这 种 模糊 集合 。 

例 3.1 在 考核 中 ,学 生 的 绩 点 为 L0,5] 区 间 上 的 实数 。 按 照常 识 , 绩 点 在 3 以 下 显 


然 不 属于 “优秀 ”, 绩 点 在 4.5 以 上 则 显然 属 
于 “优秀 ”, 这 是 没有 问题 的 。 然 而 , 绩 点 为 | 
4.4 时 该 怎么 算 呢 ?这 个 成 绩 很 接近 4. 5， 0.8 
如 果 和 绩 点 为 3 一 样 ,都 不 属于 “优秀 ”, 未 党 06 
免 对 绩 点 为 4. 4 的 同学 太 不 公平 。 有 了 模 kos 
糊 集 合 这 个 工具 ,在 3 一 4.5 之 间 就 可 以 认 


为 是 一 个 “灰色 地 带 ”, 其 间 的 成 绩 在 一 定 程 
度 上 属于 “优秀 ”这 个 模糊 集 。 假 设 各 绩 点 00 
对 “优秀 ”的 隶属 度 可 以 用 如 图 3. 3 所 示 的 Eo a s 
曲线 表示 : 六 

在 这 个 例子 中 , 设 模糊 集合 “优秀 ”为 MES AER N AE 
A, 则 隶属 度 函 数 pea OH: 


0 0 三 uu 二 3 
mau) = 1 u—2 3<u<t.5 (3. 5) 
1 4.5<u<5 
此 处 的 论 域 是 连续 的 ,模糊 集合 A 用 Zadeh 表示 法 可 以 表示 为 : 
2 


gue 


= sd 
A 加 _ u +| u +] coc 
用 序 对 表示 法 可 以 表示 为 : 


(3. 6) 
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A ={(u,0) | 0<u<apt{(u-gu—2))3<u<45l 


+ {(u,l) |4.5<u<5} (3.7) 

这 样 ,对 于 一 个 绩 点 为 4.4 的 学 生来 说 ,尽管 他 的 成 绩 没 有 达到 4. 5, 对 “优秀 ”的 隶 
属 度 小 于 1, 但 他 对 “优秀 ”这 个 模糊 集 的 隶属 度 约 为 0. 93 ,而 非 完 全 被 排除 在 “优秀 ? 
之 外 。 

对 于 模糊 集合 来 说 ,隶属 度 孔 数 非常 重要 。 一 个 模糊 集合 可 以 被 其 隶属 度 函 数 唯 一 
定义 。 在 上 面 的 例子 中 ,隶属 度 函 数 是 一 个 分 段 函 数 ,每 一 段 都 是 线性 的 。 

事实 上 ,常用 隶属 度 艺 数 的 形式 有 很 多 种 ,如 图 3.4 Pas AI = fh JE PR. BBE PRK 
sigmoid 困 数 等 。 当 隶属 度 困 数 有 奋 干 点 取 值 为 1, 其 余 点 取 值 为 0 时 ,该 函数 对 应 的 模 
糊 集合 可 以 看 作 一 个 经 典 集 合 。 


1.0 
0.8 
Ex 0.6 
WE 
the 0.4 
0.2 
a 0 5 10 15 20 l 0 5 10 15 20 
输入 输入 
(a) 三 角形 函数 (b) 梯形 函数 
1.0 
0.8 
Èx 0.6 
IE 
i 0.4 
0.2 
0.0 = 
0 5 10 15 20 
输入 
(c) sigmoid KRI 


3.4 隶属 度 函 数 举例 


在 不 同 的 具体 问题 中 ,往往 需要 选择 不 同 的 隶属 度 困 数 ,对 隶属 度 困 数 的 选择 通 第 依 
赖 相关 领域 的 专家 知识 。 


3.2.2 模糊 集合 上 的 运算 


模糊 集合 的 子 集 可 以 这 样 定义 : 
定义 3.2 SAMS MICMU ETE RK u, BA ya (Ww) Spyz (a). WRI EEA A 
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是 模糊 集合 B 的 子 集 。 
古典 集合 定义 有 交 、 并 、 补 等 运算 。 在 模糊 集合 上 , 交 、 并 、 补 等 运算 也 被 定义 。 设 
A.B 是 论 域 U 上 的 模糊 集合 , 则 
交 运 算 : 
Hane (wu) = min {pa (a) ,pp (u)? (3. 8) 
并 运算 
paCu) = max {ya(u) ,pp (u)} (3. 9) 
补 运算 : 
Ha Cu) = 1— palu) (3. 10) 
上 述 模糊 集合 上 的 运算 的 定义 都 是 目前 广泛 认可 的 形式 ,但 这 些 定 义 并 非 唯一 。 不 
同文 献 中 可 能 存在 对 相同 名 称 运 算 的 不 同 定 义 , 这 是 需要 注意 的 。 
不 难 发 现 , 这 些 定义 在 模糊 集合 上 的 运算 也 满足 一 系列 定律 : 
ter AE : 
AUA=A, ANA=A (3.41) 
交换 律 : 
ANB=BNA, AUB=BUA Cal 
结合 律 
(AUB)UC=AU(BUO) (3.13) 
(ANB) NC=AN BNO 
分 配 律 : 
Af)\(BUQ)=(AN BY) UANC) (3.14) 
AU(BNO=(AUB)N(AUO) 
吸收 律 : 
AN(AUB)=A, AU(ANB)=A a 
两 极 律 : 
4nu-4，4UU-4 an 
AN@=9, AUD=0 
复原 律 E 
A=A (3.17) 
HE AR IE 
AUB=ANB, ANMB=AUB (3, 18) 


以 上 是 模糊 集合 上 的 运算 定律 ,上 古典 集合 上 也 存在 相应 的 定律 。 然 而 ,古典 集合 上 成 


立 的 矛盾 律 和 排 中 律 对 于 模糊 集合 不 再 成 立 。 
3.2.3 BRE 4 


模糊 集合 理论 中 , 论 域 中 的 一 个 元 素 不 再 只 有 属于 集合 A 和 不 属于 集合 A 两 种 情 
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况 。 类 似 的 模糊 理论 也 可 以 用 于 扩展 经 典 迎 辑 。 经 典 多 辑 是 二 值 迎 辑 , 其 中 一 个 变 元 只 
AE” AAE” a 和 0) 两 种 取 值 ,其 间 不 存在 任何 第 三 值 。 波 兰 逻 辑 学 家 J. Lukasiewicz 
第 一 次 提出 了 多 值 馆 辑 , 然 而 ,Lukasiewicz 提出 的 这 种 三 值 逻 辑 中 ,命题 取 值 是 离散 并 界 
限 分 明 的 ,依旧 诉 诸 精确 性 ,难以 体现 亦 此 亦 彼 的 模糊 性 。 模 糊 迎 辑 也 属于 一 种 多 值 迎 
辑 ,在 模糊 逻辑 中 , 变 元 的 值 可 以 是 L0,1] 区 间 上 的 任意 实数 。 

设 P.Q 为 两 个 变 元 ,模糊 逻辑 的 基本 运算 定义 如 下 : 


(1) 补 运 算 : P=1-—P (3.19) 
(2) 2018 FF : P AQ=min (P,Q) (3. 20) 
(3) 并 运算 : PVQ=max (P,Q) (3. 21) 
(4) AR: P>Q=((1—P) VQ) (3. 22) 
(5) 等 价 : PQ=(P>Q) A(Q>P) (3. 23) 
根据 如 上 定义 ,可 得 模糊 逻辑 运算 定律 如 下 : 
(1) FIP: 
PVP=P (3. 24) 
PAP=P 
(2) 交换 律 : 
PVQ=QVP (3. 25) 
PAQ=QAP 
(3) 结合 律 : 
PV(QVR)=(PVQVP (3. 26) 
PA(QAR)=(PAQ AP 
(4) 吸收 律 : 
PV(PAQ)=P (3 27) 
PA(PVQ)=P 
(5) 分 配 律 : 
PV (QAR)=(PVQ) A(PVR) (3. 28) 


PA(QVR)=(PAQ) V(PAR) 
(6) 双重 否定 律 


P=P (3. 29) 
(7) ERIE: 
PVQ=PAQ (3. 30) 
PAQ=PVQ 
(8) 第 数 法 则 : 
1VP=1 0VP=P (3.31) 


1AP=P 0AP=0 
这 些 基本 公式 可 以 用 于 模糊 敢 辑 函数 的 化 位 。 
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3.2.4 模糊 关系 及 其 合成 运算 


模糊 关系 可 以 看 作 经 典 逻 辑 关系 的 扩展 。 可 以 给 出 模糊 关系 的 定义 如 下 : 

定义 3.3 设 X 和 YY 是 两 个 经 典 集合 ,XXY 是 XX 与 Y 的 笛 卡 儿 乘 积 。 若 将 
XXxyY=({((Cz,y)|zEX,yEY} 看 作 退 化 的 模糊 集合 , 则 XXXxyY 上 的 模糊 关系 是 XXXY 的 
一 个 模糊 子 集 , 记 为 人 RR。 一 般 来 说 ,R ERRER RG, y REE X 上 元 素 z 与 Y 上 
元 素 y 关系 的 程度 。 

模糊 关系 也 是 一 种 模糊 集合 ,车 R(x,y) 取 值 为 0 或 1, 这 种 模糊 集合 就 等 同 于 经 典 
集合 ,模糊 关系 也 退化 为 经 典 关 系 的 形式 。 当 论 域 离散 且 有 限时 , 像 经 典 关 系 可 以 写成 矩 
阵 形 式 一 样 ,模糊 关系 也 可 以 写成 矩阵 形式 。 

经 典 关 系 可 以 认为 是 经 由 集合 之 间 的 一 种 映射 ,模糊 关系 也 是 模糊 集合 上 的 一 种 映 
射 。 像 经 典 关 系 一 样 ,模糊 关系 上 也 定义 了 映射 特有 的 合成 运算 。 

设 XYZ 为 论 域 ,R EX XY 上 的 模糊 关系 ,S 是 YXZ 上 的 模糊 关系 ,T 是 RR 到 
S 的 合成 , 记 为 T= 二 R。S, 其 隶属 度 函 数 定义 如 下 : 

AR。S( 并 之) pa Cur(asy) X psCysz)) (3.32) 

在 这 里 , V 表示 对 所 有 y 取 最 大 值 ,X 是 二 项 积 算 子 ,可 以 定义 为 取 最 小 值 或 者 代数 

积 等 。 在 不 同 的 问题 中 ,根据 具体 定义 的 不 同 ,模糊 关系 的 合成 运算 也 不 尽 相 同 。 


在 模糊 推理 系统 中 ,最 常用 的 合成 运算 是 最 大 一 最 小 合成 ,其 计算 公式 为 : 
R° S pps (x52) = a (min (ur (TY) susCysz))) (3.33) 


采用 这 种 合成 公式 的 推理 被 称 为 最 大 一 最 小 推理 。 
3.3 ”模糊 逻辑 推理 


模糊 推理 可 以 认为 是 一 种 不 精确 的 推理 ,是 通过 模糊 规则 将 给 定 输入 转化 为 输出 的 
过 程 。 本 方 主 要 介绍 模糊 推理 的 概念 、 方 法 ,并 通过 实例 说 明 模 糊 推理 的 过 程 。 本 市 需要 
FRAN: 

。 模糊 语言 变量 和 语言 算 子 的 概念 。 

。 模糊 规则 的 概念 。 

。 模糊 推理 的 概念 和 方法 。 


3.3.1 模糊 规则 .语言 变量 和 语言 算 子 


什么 是 模糊 推理 ? 什么 是 模糊 规则 ? 可 以 这 么 认为 ,模糊 推理 就 是 将 输入 的 模糊 集 
通过 模糊 逻辑 方法 对 应 到 特定 输出 模糊 集 的 计算 过 程 。 模 糊 规则 就 是 在 进行 模糊 推理 时 
依赖 的 规则 , 通 第 可 以 用 自然 语言 表述 。 其 形式 如 "如 果 张 三 比较 翌 , 则 张 三 需要 进行 较 
多 锻炼 ”。 

要 了 解 模 糊 规则 ,首先 要 了 解 儿 个 概念 。 

1. 语言 变量 


语言 变量 ,对 应 于 自然 语言 中 的 一 个 词 或 者 一 个 短语 、 句 子 。 它 的 取 值 就 是 模糊 集 
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Ro Zadeh 给 语言 变量 下 了 如 下 定义 : 

语言 变量 由 一 个 五 元 组 (4, Tu), U, G, M) 表 达 。 其 中 ,w 为 变量 名 ,如 “ 张 三 ”， 
吕 是 x 的 论 域 ,如 [20kg, 120kgj ,T(z) 是 语言 变量 取 值 的 集合 ,如 { 瘦 , 中 等 , 胖 ,…) ,而 
每 个 取 值 都 是 论 域 为 U 的 模糊 集合 ,G 为 语法 规则 ,M 为 语义 规则 ,用 以 产生 各 模糊 集合 
HISK JR BE PK Bi 

需要 注意 的 是 ,这 个 五 元 组 只 是 对 语言 中 可 研究 对 象 的 描述 ,对 于 不 同 领 域 的 不 同 具 
体 问 题 ,定义 语言 变量 的 标准 不 尽 相同 。 

2. 语言 算 子 

在 日 然 语 言 中 ,和 常 党 用 “可 能 ”“ 大 约 ”“ 比 较 ”“ 很 ”等 词语 来 进行 修饰 ,表示 可 能 性 、 
近似 性 和 程度 。 为 了 接近 日 然 语言 的 描述 习惯 ,更 方便 地 将 日 然 语 言 形 式 化 与 定量 化 , 语 
言 算 子 的 概念 被 引入 ,用 于 对 模糊 集 进 行 修饰 。 语 言 算 子 有 语气 算 子 、 模 糊 化 算 子 、 判 定 
算 子 。 这 里 主要 介绍 语气 算 子 。 

AAR WEG Ci TRF HM AC 代表 施加 了 语气 算 子 后 的 模糊 集合 。 语 气 算 子 
的 一 种 较 和 常用 的 定义 为 : 

当 太 为 “ 极 ” 时 ,HC 二 C*, 即 对 每 个 元 素 的 隶属 度 取 4 次 方 。 

4 五 为 “很 "时 ,有 HC 二 C?, 即 对 每 个 元 素 的 隶属 度 取 2 次 方 。 

当 五 为 “ 较 ” 时 ,有 HC 二 C*, 即 对 每 个 元 素 的 隶属 度 取 0. 5 次 方 。 

% H A” H, HCC” , 即 对 每 个 元 素 的 隶属 度 取 0. 25 次 方 。 

3.“ 如 果 一 则 ”规则 

“如 果 一 则 ”规则 Gf-then 规则 ) 是 一 种 包含 了 模糊 逻辑 的 条 件 陈 述 语句 。 基 础 的 “如 
采 一 则 ”规则 表述 如 下 : 

If x is A then y is B( 奉 xX 是 A, 那 么 y 是 B) 
其 中 , 设 A 的 论 域 是 U,B 的 论 域 是 V,A SB 均 是 语言 变量 的 具体 取 值 , 即 模糊 集合 ， 
cS yey. MMP xis A 又 称 前 件 ,y is B 又 称 后 件 。 在 规则 “如 采 张 三 比较 胖 
则 运动 量 比 较 大 ”中 ,zx 就 是 " 张 三 ”,y 为 “运动 量 ”,“ 比 较 胖 ”和 “比较 大 ”分 别 为 x 和 y 的 
取 值 之 一 。 

这 里 需要 注意 的 是 ,模糊 集合 A 与 B 之 间 的 关系 是 模糊 蕴含 关系 ,可 以 记 作 
A>BeA>BHAXB LMR KR, 其 定义 有 多 种 , 常见 的 两 种 是 最 小 运算 
R.(Mamdani) 和 积 运 算 R, (Larsen) ,如 式 (3. 34) 所 示 。 

R(x,y)=pa (rx) A pe ly) (3. 34) 
R,(2>y) =pa (ax) X psy) 


33.2 模糊 推理 
模糊 推理 是 通过 模糊 规则 将 输入 转化 为 输出 的 过 程 。 人 们 大 都 熟悉 这 样 一 种 三 


段 论 : 
大 前 提 : 所 有 的 独 都 有 尾巴 。 
小 前 提 : 花猫 是 狂 。 
结论 : 花猫 有 尾巴 。 
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模糊 推理 也 有 类 似 的 形式 ,但 与 经 典 人 逻辑 中 的 三 段 论 并 不 完全 相同 。 例 如 : 

大 前 提 ( 规 则 ): Har EAHA y EB, 

小 前 提 ( 输 入 ): FEC. 

结论 (输出 ): y 是 DD。 

可 以 注意 到 ,在 模糊 推理 中 ,小 前 提 没 有 必要 与 大 前 提 的 前 件 一 致 (A 与 C 不 必 完 全 
一 致 ) ,结论 没有 必要 与 大 前 提 的 后 件 一 致 (B 与 D 不 必 完 全 一 致 )。 这 可 以 认为 是 一 种 
不 精确 的 推理 。 

模糊 推理 中 ,大 前 提 就 是 模糊 规则 ,模糊 规则 中 的 A 和 B 都 是 语言 变量 的 取 值 , 即 模 
糊 集合 ,如 "优秀 2“ 瘦 ?等 ;小 前 提 是 模糊 推理 系统 的 输入 ,C 是 一 个 模糊 集合 (实际 应 用 
中 ,C 常常 是 硅 干 个 精确 输入 构成 的 经 典 集合 ,这 时 C 相当 于 奢 干 点 隶属 度 为 1、 其余 点 
隶属 度 为 0 的 特殊 模糊 集合 ); 结 论 中 D 就 是 模糊 推理 的 输出 ,这 个 输出 也 是 一 个 模糊 


Faa 
在 模糊 推理 中 ,关于 模糊 蕴含 的 推理 方式 有 两 种 ,一 种 是 肯定 式 的 推理 , 男 一 种 是 否 
定式 的 推理 ,如 表 3.2 所 示 。 下 文 将 主要 介绍 肯定 式 推理 。 


表 3.2 肯定 式 推理 与 否定 式 推理 


输入 (小 前 提 ) yy y is B' 
规则 (大 前 提 ) If z is A thenyisB If z is A then y is B 
输出 (结论 ) y is B’ x is A’ 


肯定 式 利用 输入 中 的 模糊 集合 AS ROM ZB KA R=A>BWA MITE SC B, e 
定式 则 根据 模糊 蕴含 关系 R= A>B 和 模糊 集合 B 的 合成 计算 A。 二 者 的 计算 公式 分 
BWA : 

B’=A’°R (肯定 式 ) 
A’=R°B ” (BÆR) 

上 式 中 的 合成 操作 有 不 同 的 定义 方法 ,最 常用 的 就 是 式 (3. 33) 中 的 最 大 一 最 小 合成 ， 
与 之 对 应 的 推理 过 程 为 最 大 一 最 小 推理 。 

下 面 通过 一 个 例子 说 明 模 糊 推理 的 过 程 ,为 方便 描述 ,例子 中 的 论 域 选 取 离散 论 域 。 

例 3.2 某 单位 工作 成 绩 评定 有 5 种 分 数 Ui 二 人 ,2,3,4,5) ,成 绩 的 取 值 范围 T CT 
作成 绩 ) 王 { 好 ,非常 好 ,比较 好 , 差 ,…}。 则 U 为 “好 ”“ 非 常 好 ”等 模糊 集合 的 论 域 ， 
Ti 为 模糊 规则 条 件 语句 中 语言 变量 “工作 成 绩 ” 的 取 值 范围 。 

该 单位 发 放 的 报酬 有 5 种 数额 ,Us 二 1100 元 ,200 元 ,500 元 ,800 元 ,1200 元 } ,报酬 
的 论 域 上 有 几 个 模糊 标记 ,T; (报酬 )== {高 ,非常 高 ,比较 高 , 低 ,…}), 则 U 为 模糊 集合 
“高 >“ 非常 高 ?等 的 论 域 ,T， 为 模糊 规则 结论 语句 中 语言 变量 “报酬 ”的 取 值 范围 。 

现 假设 模糊 集合 “好 ”=={(1,0),(2,0.2),(3,0.5),(4,0.8),(5,1)}, 写 成 矩阵 形式 为 
[0,0.2,0.5,0.8,1],“ 非 常 好 ”集合 每 个 元 素 的 隶属 度 是 “好 ”集合 中 相应 元 素 隶 属 度 的 二 
次 方 。 假 设 模 糊 集 合 “ 高 ”=={(100,0),(200,0.1),(500,0.5),(800,0.6),(900,1)), 写 成 
矩阵 形式 为 L0,0.1,0.5,0.6,1]。“ 非 常 高 ”集合 每 个 元 素 的 隶属 度 是 “高 ”集合 中 相应 元 


(3. 35) 
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素 隶 属 度 的 二 次 方 。 

定义 一 条 模糊 规则 : 若 工 作成 绩 为 "好 , 则 报酬 为 “高 >。 若 写 成 及 =A-~ 忆 的 形式 ， 
则 A 是 “好 ”,B 是“ 高?。 

KRH RER, 时 ,R(x,y) 二 pa (Xx)Apya(y), 这 条 规则 对 应 的 模糊 关系 矩阵 为 : 


0 0 0 0 0 
0 0.1 0.2 0.2 0.2 
R=A—>B=|0 0.1 0.5 0.5 0.5 (3. 36) 
0 0.1 0.5 0.6 0.8 
0 0.1 0.5 0.6 1 


下 面 应 用 以 上 规则 ,进行 最 大 一 最 小 模糊 推理 : 

当 4 一“ 好 ”, 即 输入 模糊 集合 “好 ?时 , 欲 得 到 输出 BY ,采用 公式 B, =A eR 进行 计算 : 

00 0 0 0 

0 0.1 0.2 0.2 0.2 

B =A’ °R=[0 0.2 0.5 0.8 1]°|10 0.1 0.5 0.5 0.5 

0 0.1 0.5 0.6 0.8 

0 0.1 0.5 0.6 1 
=[0 0.1 0.5 0.6 1] (3. 37) 


其 中 ,Bi 的 第 一 个 元 素 0 由 ((0A0)V (0.2A0)V(0.5A0)V (0.8A0)V CLA 0)) iF 
算得 到 ,其 余 依次 类 推 。 可 以 发 现 ,B' 就 是 模糊 集合 “高 ”。 

类 似 地 , 当 4 = 二 “非常 好 ”, 即 输入 模糊 集合 “非常 好 ”时 , 欲 得 到 输出 B', ,采用 公式 
B, =A °R 进行 计算 : 
0 0 0 0 
0.1 0.2 0.2 0.2 
0.1 0.5 0.5 0.5 
0.1 0.5 0.6 0.8 
0.1 0.5 0.6 1 

=[0 0.04 0.25 0.6 1] (3. 38) 

Bs 也 是 一 个 模糊 集合 ,可 以 发 现 ,“100 元 ”“200 元 ”和 “500 元 ”对 Bs 的 隶属 度 要 比 
对 Bi 的 隶属 度 低 , 即 在 工作 成 绩 为 “非常 好 ”的 情况 下 ,运用 本 例 中 给 出 的 规则 ,“100 元 ”、 
“200 元 ”和 “500 元 ”这 些 较 低 报酬 对 结论 模糊 集合 的 隶属 度 比 在 工作 成 绩 为 “好 ”的 情况 
下 低 , 这 是 符合 常识 的 。 

以 上 例子 中 采用 了 R=R,, 这 个 选择 不 是 唯一 的 ,在 不 同 的 问题 中 R 的 定义 可 能 不 
相同 。 


B,=A °- R= [0 0.04 0.25 0.64 1]° 


oe o O O © 


3.4 ”模糊 计算 的 流程 


在 实际 生活 中 ,常常 出 现 这 样 的 情况 : 工厂 里 的 师傅 将 多 年 的 经 验 总 结 成 许多 条 规 
则 ,如 “如 果 转 速 快 ,而 且 温 度 高 ,就 减少 加 热 时 间 ” 等 。 现 在, 要求 学徒 在 没有 现场 指导 的 
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情况 下 ,根据 这 些 经 验 规则 和 现场 观察 到 的 情况 ,决定 是 增加 还 是 减少 加 热 时 间 , 以 及 增 
加 或 减少 多 长 时 间 。 这 个 过 程 如 采 由 机 带 来 完成 ,就 是 一 种 模糊 计算 的 过 程 。 本 市 的 主 
要 内 容 为 介绍 模糊 计算 的 基本 流程 ,其 重点 包括 : 

。 模糊 计算 的 基本 思想 ; 

。 模糊 计算 的 基本 流程 ; 

。 模糊 计算 的 一 个 简单 实例 。 


341 基本 思想 


生活 中 经 常会 遇 到 这 样 的 情况 : 要 根据 几 个 变量 的 输入 ,以 及 一 组 模糊 表述 的 规则 ， 
来 决定 输出 。 如 在 灌溉 问题 中 ,要 根据 温度 、 湿 度 等 变量 决定 灌溉 时 间 的 多 少 。 这 个 决定 
灌溉 量 的 过 程 ,需要 依据 一 些 从 以 往 的 灌溉 中 得 到 的 经 验 。 这 些 经 验 往 往来 日 领域 内 专 
家 ,并 且 以 规则 的 形式 表述 ,例如 : 当 温 度 高 而 且 湿 度 小 的 时 候 , 灌 溉 时 间 为 长 。 

模糊 计算 涉及 的 就 是 依据 模糊 规则 ,从 几 个 控制 变量 的 输入 得 到 最 终 输 出 的 过 程 。 
这 个 过 程 可 以 细 分 为 4 个 模块 . 模糊 规则 库 .模糊 化 、 推 理 方法 和 去 模糊 化 。 

模糊 规则 库 是 专家 提供 的 模糊 规则 ,在 上 面 的 例子 里 ,模糊 规则 库 包 含 了 硅 干 条 类 似 
于 “ 当 温 度 高 而 且 温 度 小 的 时 候 , 灌 溉 时 间 为 长 ”的 陈述 。 模 糊 化 是 根据 隶属 度 图 数 从 具 
体 的 输入 得 到 对 模糊 集 隶 属 度 的 过 程 。 由 于 规则 是 由 模糊 的 目 然 语 言 表述 的 ,而 输入 是 
精确 数值 ,没有 模糊 化 的 过 程 ,规则 就 难以 被 应 用 。 推 理 方 法 是 从 模糊 规则 和 输入 对 相关 
模糊 集 的 隶属 度 得 到 模糊 结论 的 方法 。 去 模糊 化 就 是 将 模糊 结论 转化 为 具体 的 、 精 确 的 
输出 的 过 程 。 由 于 推理 结论 是 用 模糊 隶属 度 表示 的 ,没有 去 模糊 化 的 过 程 ,结论 就 无 法 被 


3.42 算法 流程 


下 面 以 一 个 简单 例子 来 说 明 模 糊 计算 的 流程 。 

例 3.3 某 上 自动 控制 系统 需要 根据 设备 内 温度 .设备 内 湿度 决定 设备 的 运转 时 间 。 
在 这 里 ,输入 变量 是 温度 和 湿度 ,输出 为 运转 时 间 。 

im FE AY 76 hE LOC, 100°C], 有 3 个 模糊 标记 : 低 、. 中 高。 湿度 的 论 域 是 
[0% , 60%]. A 3 个 模糊 标记 : 小 .中 大。 运转 时 间 的 论 域 是 L0s，1000s], 有 3 个 模糊 
标记 : 短 .中 长。 这些 模糊 标记 在 模糊 规则 中 被 使 用 。 输 入 变量 和 输出 变量 对 各 模糊 标 
iC AY SR JR BE PK ANAL 3. 5 所 示 。 


1.0 1.0 
0.8 0.8 
sy 0-6 a 0-8 
E lea 
$k 0.4 $è 0.4 
0.2 0.2 
9-00 20 40 60 80 100 aa 10 20 30 40 50 60 
温度 /C TE / % 


3.5 输入 变量 和 输出 变量 对 各 模糊 标记 的 隶属 度 函 数 
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专家 给 出 的 控制 规则 如 表 3. 3 所 示 。 
表 3.3 专家 提供 的 模糊 控制 规则 


现在 假设 该 系统 已 经 探知 相关 输入 变量 的 取 值 : 设备 内 温度 =64C ,设备 内 湿 
度 一 22% 。 
计算 输出 过 程 如 下 : 
1. 输入 变量 模糊 化 并 激活 相应 规则 
通过 隶属 度 图 数 进 行 计 算 , 可 以 得 到 该 温度 与 湿度 对 每 个 模糊 标记 的 隶属 度 , 如 
表 3.4 和 表 3.5 所 示 。 
表 3.4 输入 温度 的 隶属 度 表 3.5 输入 湿度 的 隶属 度 


由 于 温度 对 “ 低 ” 的 隶属 度 为 0, 而 湿度 对 “大 ”的 隶属 度 为 0, 故 控 制 规则 表 内 条 件 包 
含 低 温度 和 大 湿度 的 规则 不 被 激活 。 而 有 如 下 4 条 规则 被 激活 : 

(1) 硅 温 度 为 高 且 湿 度 为 小 , 则 运转 时 间 为 长 。 

(2) 大 温度 为 中 有 旦 湿度 为 中 , 则 运转 时 间 为 中 。 

(3) 硅 温 度 为 中 有 旦 湿度 为 小 , 则 运转 时 间 为 长 。 

(4) 奇 温度 为 高 且 湿 度 为 中 , 则 运转 时 间 为 中 。 

2. 计算 模糊 控制 规则 的 强度 

这 4 条 规则 中 ,前 件 被 满足 的 程度 越 高 ,规则 的 强度 就 越 大 ,对 输出 就 越 有 指导 作用 。 
以 规则 (1) 为 例 , 从 已 知 输入 看 ,温度 对 “高 ”的 隶属 度 为 0. 1, 而 湿度 对 “小 ”的 隶属 度 只 有 
0.075 ,可 见 这 条 规则 的 强度 不 大 。 

由 于 规则 条 件 中 连接 两 个 条 件 的 是 有 是 ”, 故 在 此 用 取 最 小 值 法 确定 4 条 规则 的 强度 : 

规则 (1): 温度 对 "高 ?隶属 度 为 0.1, 湿 度 对 "小 ?隶属 度 为 0.075,min(0.1,0.075) 王 0. 075。 

规则 (2): 温度 对 “中 ”隶属 度 为 0. 53, 湿 度 对 “中 ”隶属 度 为 0. 467, min (0. 53, 
0. 467)=0. 467. 

规则 (3): 温度 对 “中 ”隶属 度 为 0. 53 ,湿度 对 "小 ?隶属 度 为 0. 075, min(0. 53, 
0. 075) 一 0. 075. 

规则 (4): 温度 对 “高 ?隶属 度 为 0. 1 ,湿度 对 “中 ?隶属 度 为 0.467,min(0.1,0.467) 王 0. 1。 

3. 确定 模糊 输出 

规则 (1) 和 规则 (3) 的 结论 是 运转 时 间 为 长 ,规则 (2) 和 规则 (4) 的 结论 是 运转 时 间 为 
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中 。 故 运转 时 间 对 “长 ”的 隶属 度 是 规则 (1) 和 规则 (3) 强 度 较 大 者 0.075, 运 转 时 间 对 
“中 ”的 隶属 度 是 规则 (2) 和 规则 (4) 强 度 较 大 者 0. 467。 
，_ 2-075 X 1000 +0. 467 X 500 

0.075 + 0. 467 


以 上 例子 中 ,步骤 1 需要 从 具体 输入 得 到 对 模糊 集 的 隶属 度 ,并 激活 相关 模糊 规则 。 
从 具体 输入 得 到 对 模糊 集 隶 属 度 的 算 子 又 叫 模糊 化 算 子 。 

步骤 2 需要 利用 模糊 规则 进行 推理 得 出 结论 。 在 不 同 
的 问题 中 ,推理 方法 可 能 不 相同 。 以 上 例子 中 ,步骤 2 采用 
的 是 最 小 推理 , 即 取 条 件 中 隶属 度 的 最 小 值 , 这 是 一 种 简单 
算法 ,但 会 损失 精度 。 

步骤 3 需要 综合 步骤 2 中 的 结论 并 从 模糊 隶属 度 得 到 
实际 的 输出 仁 。 从 模糊 隶属 度 得 到 实际 输出 的 算 子 又 叫做 
去 模糊 化 算 子 。 去 模糊 化 的 方法 有 多 种 ,常用 的 有 重心 法 、 


= 569. 2(s) 


接受 输入 变量 
输入 变量 模糊 化 


利用 相关 模糊 规则 
获得 结论 


利用 结论 确定 实际 输出 |】 FARBAR. 
(去 模糊 化 ) 图 3.6 显示 了 模糊 计算 的 基本 流程 。 


本 节 的 例子 中 只 涉及 一 组 输入 。 当 涉及 多 组 输入 时 , 计 

量 常 常 较 大 。 在 处 理 简单 问题 时 ,可 以 预先 制作 好 控制 

表 , 使 用 时 查询 即 可 。 在 处 理 复杂 问题 时 ,控制 表 也 会 占用 

图 3 6 MOMS nage ge 过 多 的 空间 。 而 且 ,一 些 很 复杂 的 系统 往往 需要 专家 提供 很 

多 模糊 规则 ,造成 系统 设计 的 复杂 性 增加 。 为 解决 这 些 问 

题 ,可 以 将 模糊 计算 与 上 一 章 介绍 的 神经 网 络 的 学 习 能 力 结合 起 来 。 模 糊 计算 与 神经 网 
络 的 结合 将 在 下 一 节 中 进行 详细 介绍 。 


3.5 模糊 逻辑 的 应 用 


模糊 理论 被 提出 以 后 ,在 多 个 领域 得 到 了 应 用 。 由 于 模糊 逻辑 适合 描述 复杂 系统 与 
人 的 思维 ,其 潜力 不 容 忽 视 。 

首先 ,对 于 复杂 且 没 有 完整 数学 模型 的 非 线 性 问题 ,模糊 理论 提供 了 一 种 有 效 的 解决 
方案 , 即 在 不 知晓 具体 模型 的 情况 下 通过 经 验 规则 求解 。 

其 次 ,模糊 逻辑 与 其 他 计算 智能 算法 结合 后 ,能 够 实现 优势 互补 ,提供 了 将 人 类 在 识 
别 . 决策、 理解 等 方面 的 模糊 性 引入 机 和 需 及 其 控制 的 途径 。 这 种 混合 算法 在 许多 领域 已 经 


得 到 了 应 用 。 
1. 模糊 逻辑 与 神经 网 络 的 结合 与 应 用 
神经 网 络 是 一 种 模仿 生物 神经 系统 的 计算 智能 方法 ,是 生物 学 与 计算 机 科学 结合 的 


产物 。 模 糊 系 统 常常 与 神经 网 络 结合 ,用 于 解决 复杂 的 非 线 性 问题 。 
模糊 系统 与 神经 网 络 部 是 人 工 知 能 领域 的 重要 方法 ,二 者 之 间 存 在 理论 上 的 联系 。 
1993 年 ,Buckley 等 证 明了 模糊 专家 系统 与 前 馈 神 经 网 络 等 价 , 即 任 意 的 模糊 专家 系统 
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可 用 前 馈 神经 网 络 以 任意 精度 近似 表示 ,反之 亦 然 。2000 年 ,Li 等 号 证 明了 模糊 系统 与 
三 角 波 前 馈 神 经 网 络 等 价 , 并 证 明了 非 线 性 波 神经 网 络 可 以 用 三 角 波 神经 网 络 表示 ,进而 
得 出 模糊 系统 与 前 馈 神经 网 络 等 价 的 结论 。2005 Æ, Kolman 等 中 从 理论 上 证 明了 
Mandani 模型 的 模糊 系统 与 标准 前 馈 神 经 网 络 在 数学 上 等 价 。2008 年 ,Mantas %0 GE 
明了 基于 0 BY TSK 规则 的 模糊 系统 与 多 层 前 问 神 经 网 络 等 价 。 

然而 ,在 实际 应 用 中 ,神经 网 络 与 模糊 逻辑 有 一 些 重 要 区 别 。 例 如 ,模糊 系统 的 知识 
(规则 与 隶属 度 图 数 ) 是 预先 提供 的 、 显 性 的 ,其 来 源 是 相关 领域 专家 ,神经 网 络 的 知识 是 
通过 学 习 得 到 的 , 隐 含 在 网 络 结构 中 ,其 来 源 是 数据 。 表 3.6 显示 了 模糊 系统 与 神经 网 络 
的 区 别 和 联系 。 


表 3.6 模糊 系统 和 神经 网 络 的 区 别 与 联系 


TIL sama 


系 均 为 人 工 智 能 领域 的 重要 方法 ,是 模糊 系统 与 前 馈 神 经 网 
É 络 在 数学 上 等 价 


联 
知识 来 源 专家 提供 数据 
区 知识 表达 模糊 规则 和 隶属 度 图 数 网 络 结构 


当 规则 数目 过 大 时 ,由 专家 提供 模糊 系统 的 全 部 规则 变 得 不 具 可 操作 性 。 这 时 ,将 模糊 
系统 和 神经 网 络 结合 ,通过 神经 网 络 的 目 适 应 学 习 获 得 部 分 规则 ,不失为 一 种 解决 方法 。 

将 神经 网 络 与 模糊 系统 结合 的 工作 是 许多 研究 者 的 关注 点 。Lin 等 人 中 提出 了 一 种 
递归 模糊 细胞 神经 网 络 ,该 系统 能 够 同时 上 月 动 对 网 络 结构 和 参数 设置 进行 学 习 。Liu 等 
人 下 则 提出 了 一 种 三 层 前 馈 模糊 神经 网 络 的 学 习 算法 。 文 献 L10] 将 TSK 模糊 模型 与 小 
波 神 经 网 络 结合 ,提出 了 一 种 用 于 解决 预测 和 识别 问题 的 小 波 递归 模糊 神经 网 络 。 此 外 ， 
文献 L11j 提 出 了 一 种 用 于 解决 一 类 非 线 性 问题 的 日 组 织 神经 控制 方法 。 

模糊 系统 适合 于 描述 目 然 语言 写 人 类 思维 中 的 模糊 性 ,而 神经 网 络 具有 学习、 联想 、 
记忆 的 能 力 。 模 糊 系 统 与 神经 网 络 结合 ,实现 了 优势 互补 ,除了 神经 网 络 的 经 典 应 用 外 ， 
其 应 用 范围 已 涵盖 了 机 械 控制 .图 像 处 理 \ 电 力 系 统 等 领域 。 

分 类 和 聚 类 是 神经 网 络 的 经 典 应 用 。 分 类 解决 的 是 将 输入 数据 归 和 人 正确 类 别 的 问 
题 ,而 聚 类 问题 是 在 实现 不 知道 有 何 类 别 的 情况 下 将 数据 划分 为 奉 干 类 的 问题 。 文 献 
L13JL14j] 使 用 了 模糊 最 大 一 最 小 神经 网 络 解 决 这 两 类 经 典 问题 。 此 外 ,文献 L12j] 中 ,一 种 
模糊 神经 PID 控制 希 被 提出 。 该 控制 名 被 应 用 于 控制 交流 感应 驱动 船 速度。 文献 L15j 
中 ,一 种 结合 了 模糊 聚 类 技术 的 Hopfield 神经 网 络 被 用 于 医学 图 像 分 割 。 文 献 L16j] 中 ， 
一 种 解决 雷达 脉冲 压缩 问题 的 模糊 神经 网 络 被 提出 。 各 种 版 本 的 模糊 神经 网 络 还 被 应 用 
于 支持 多 媒体 服务 器 的 分 层 小 区 系统 资源 管理 "” .电力 市 场 短期 价格 预测 "5 、 电 网 故障 
Be FEO) PR Ath BH) 、 机 器 人 自 适 应 控制 温度 控制 、 合 成 口径 雷达 图 像 分 类 等 。 

此 外 ,模糊 神经 网 络 在 心理 学 .金融 系统 .语言 学 .生态 学 等 领域 也 已 经 得 到 了 应 用 ， 
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在 此 不 再 蒙 述 ,读者 可 以 自行 阅读 相关 材料 。 

2. 模糊 逻辑 与 进化 计算 的 结合 与 应 用 

进化 计算 算法 包括 遗传 算法 (Genetic Algorithm, GA) 、 尽 群 优化 算法 (Ant Colony 
Optimization, ACO) .粒子 群 优 化 算法 (Particle Swarm Optimization, PSO) 等 ,关于 这 些 
算法 将 会 在 后 面 的 章节 中 进行 详细 介绍 。 进 化 计算 算法 维护 一 个 种 群 , 在 解 空间 上 进行 
搜索 ,其 与 模糊 逻辑 的 结合 大 致 有 两 种 途径 : 一 种 是 在 进化 计算 算法 运行 时 使 用 模糊 控 
制 来 调整 群 智能 算法 的 参数 , 男 一 种 是 在 模糊 系统 中 用 进化 计算 算法 来 产生 、 挑 选 和 优化 
模糊 控制 规则 与 隶属 度 困 数 。 

众多 研究 表明 ,进化 计算 算法 的 参数 设置 往往 会 对 算法 表现 产生 较 大 的 影响 ,而 求解 
不 同 问题 或 同一 问题 的 不 同 阶 段 时 ,参数 的 最 优 设 置 常常 不 同 。 参 数 的 动态 自 适应 调整 
在 一 定 程度 上 解决 了 这 一 问题 ,而 模糊 逻辑 为 参数 调整 提供 了 一 种 重要 工具 。 如 文献 
[24j 提 出 了 一 种 利用 模糊 控制 动态 优化 遗传 算法 参数 的 算法 。 文 献 [L25 使 用 模糊 逻辑 对 
遗传 算法 的 变异 率 和 交叉 率 进 行 基 于 聚 类 的 自 适 应 调整 。 

传统 模糊 系统 的 模糊 规则 和 隶属 度 也 数 往往 由 专家 提供 , 当 系 统 非常 复杂 时 ,难以 保 
证 这 些 规则 和 隶属 度 孔 数 是 充足 、 有 效 且 低 消 耗 的 。 利 用 群 智能 算法 可 以 对 模糊 规则 进 
行 生成 .筛选 和 优化 。Chan 等 "站 提 出 了 一 种 使 用 稳 态 遗传 算法 产生 模糊 规则 的 方法 ,并 
应 用 于 雷达 目标 跟踪 问题 。Tang 等 中 则 使 用 一 种 分 层 遗 传 算法 选择 模糊 规则 库 的 最 优 
子 集 ,以 减少 模糊 系统 的 计算 消耗 。Leng 等 "中 设计 了 一 种 自 组织 的 模糊 神经 网 络 ,并 利 
用 一 种 基于 遗传 算法 的 方法 调整 包括 模糊 规则 数 在 内 的 参数 。Liu 等 " 引 设 计 了 一 种 基于 
语气 修饰 和 遗传 算法 的 模糊 逻辑 控制 右 , 用 以 化 简 隶 属 度 函数 和 模糊 规则 。 

目前 ,模糊 逻辑 与 进化 计算 算法 结合 ,已 经 被 应 用 于 项 目地 点 分 配 问题 雷达 目标 
跟踪 问题 2 等 许多 问题 中 。 


3.6 RS DA 


Tes Tet HT Be a eB Sj 28 ET AS) ST] o 

. AAT BRE BE AB A EE I A eB? 如 有 果 有 ,问题 在 哪里 ? 
. 例 3.2 中 ,车 A'==“ 比 较 好 ”, 请 计算 结论 。 

. 复述 例 3. 3 的 解决 流程 。 

. 通过 查阅 相关 参考 文献 , 了解 模糊 逻辑 在 各 个 领域 的 应 用 。 
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普通 高 校本 科 计 算 机 专业 


神奇 的 大 目 然 癌 我 们 展示 了 进化 的 
奇迹 。 在 上 自然 进化 这 个 魔术 棒 的 指挥 下 ， 
地 球 上 的 生物 从 低级 走 同 高 级 。 

优化 问题 求解 的 过 程 ， 能 否 借用 日 
然 进 化 这 文 麻木 棒 呢 ? 


Ae REN > 借鉴 目 然 进化 的 理念 ， 
问题 的 优化 过 程 可 以 看 成 类 似 于 生物 进化 
的 过 程 。 通 过 模拟 目 然 界 的 生物 进化 , 研 
究 者 提出 了 一 种 解决 优化 问题 的 创造 性 方 
法 ji fe EY (Genetic Algorithm, GA) 。 
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遗传 算法 是 计算 智能 领域 一 个 举足轻重 的 分 支 , 其 思想 源 于 生物 科学 的 进化 理论 和 
遗传 变异 理论 ,是 通过 模仿 自然 界 的 进化 活动 ,设计 出 能 够 有 效 解决 优化 问题 的 系统 
Pipi 

本 草 将 介绍 遗传 算法 的 相关 知识 ,包括 遗传 算法 的 基本 原理 、 人 研究 进展 、 基 本 流程 结 
构 以 及 算法 的 改进 和 应 用 。 通 过 本 草 的 详细 介绍 ,给 读者 展示 了 设计 和 使 用 遗传 算法 的 
基本 流程 和 基本 要 素 ,力求 使 读者 对 遗传 算法 有 一 个 初步 的 认识 和 理解 ,并 为 读者 进一步 
了 解 遗 传 算 法 提供 了 相关 的 参考 资料 。 本 草 的 主要 内 容 如 下 : 

。 遗传 算法 简介 :; 
遗传 算法 的 流程 ; 
遗传 算法 的 改进 ; 
遗传 算法 的 应 用 。 


4.1 遗传 算法 简介 


411 基本 原理 


遗传 算法 (Genetic Algorithm,GA) 是 由 美国 密 舱 根 (Michigan) 大 学 心理 学 教授 、 电 
子 工 程 学 和 计算 机 科学 教授 John H. Holland 首先 提出 的 一 种 随机 自 适 应 的 全 局 搜索 算 
法 中。 早 在 1962 年 ,Holland' 引 就 提出 了 关于 遗传 算法 的 基本 思想 。 之 后 ,相继 有 学 者 在 
相关 的 研究 成 果 中 提 到 了 遗传 算法 的 概念 “中, 例如 Holland 的 学 生 Bagley 于 1967 年 在 
他 的 博士 论文 中 中 第 一 次 采用 了 “遗传 算法 ”这 个 术语 。 但 遗传 算法 的 数学 框架 和 理论 基 
础 直到 20 世纪 70 AERA AIG EO. Holland 于 1975 年 在 其 专著 《自然 系统 和 人 工 
系统 的 自 适 应 性 》(“Adaptation in Nature and Artificial Systems”)[9 中 对 这 种 理论 方法 
进行 了 系统 且 详 细 的 论述 。 

遗传 算法 吸收 了 生命 科学 与 工程 学 科 中 的 重要 理论 成 果 , 用 于 解决 复杂 优化 问题 。 
其 中 ,达尔文 C(Darwin) 的 进化 理论 和 以 重 德尔 (Mendel) 的 遗传 学 说 为 基础 的 现代 遗传 学 
对 算法 的 提出 具有 最 为 重要 的 影响 。 

地 球 生 命 自 诞生 以 来 ,就 处 于 漫长 而 深远 的 进化 历程 ,经 历 了 从 低级 到 高 级 .从 单 
一 到 多 样 \ 从 简单 到 复杂 、 从 缺陷 到 完善 的 发 展 过 程 。 达 尔 文 的 进化 论 提 出 自然 界 “ 目 
然 选 择 ” 和 “优胜 劣 汰 ”的 进化 规律 。 图 4. 1 揭示 了 生物 的 进化 过 程 。 生 物 的 进化 过 程 
是 一 个 不 断 往 复 的 循环 过 程 。 在 每 个 循环 中 ,由 于 上 自然 环境 的 恶劣 .资源 的 短缺 和 天 
敌 的 侵害 等 因素 ,个 体 必 须 接 受 上 自然 的 选择 。 在 选择 过 程 中 ,一 部 分 对 自然 环境 具有 
较 高 适应 能 力 的 个 体 得 以 保存 下 来 形成 新 的 种 群 。 而 另 一 部 分 个 体 则 由 于 不 适应 自 
然 环 境 而 面临 被 淘汰 的 危险 。 经 过 选择 保存 下 来 的 群体 构成 种 群 ,种 群 中 的 生物 个 体 
进行 交配 繁衍 ,保证 了 种 群 的 发 展 。 交 配 产 生 的 子 代 继承 了 父 代 的 部 分 特性 ,而 且 一 
般 来 说 , 子 代 要 比 父 代 具有 更 强 的 环境 适应 能 力 。 进 化 过 程 华 随 着 种 群 的 变异 ,种群 
中 部 分 个 体 发 生 基因 变异 ,成 为 新 的 个 体 。 这 样 ,经 过 选择 、 交 配 和 变异 后 的 种 群 取代 
原来 的 群体 ,进入 下 一 个 进化 循环 。 
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4.1 生物 进化 过 程 


以 重 德尔 的 遗传 学 说 为 基础 的 现代 遗传 学 提出 了 遗传 信息 的 重组 模式 。 在 生物 体 的 
遗传 过 程 中 ,染色 体 是 遗传 信息 一 一 基因 的 载体 ,基因 在 染色 体 上 按照 一 定 的 次 序 组 合 。 
父 代 交配 产生 子 代 时 , 子 代 从 父 代 继承 的 遗传 基因 以 染色 体 的 形式 重新 组 合 , 子 代 的 性 状 
由 遗传 基因 决定 。 图 4. 2 简单 描述 了 遗传 基因 重组 的 过 程 。 


父 代 染 色 体 1 A :, F 父 代 染 色 体 2 
; : 
子 代 染 色 体 1 s 。 。 子 代 染色 体 2 


图 4.2 遗传 基因 重组 过 程 


来 源 于 生物 科学 的 这 两 个 重要 理论 ,为 Holland 寻求 有 效 方 法 研究 人 工 自 适应 系统 
提供 了 宝 贯 的 思想 源 果 。 在 前 人 运用 计算 机 进行 生物 模拟 的 基础 上 ,Holland 发 现 了 日 
然 界 的 生物 遗传 进化 系统 同人 工 自 适 应 系统 的 相似 性 ,成 功 地 建立 了 遗传 算法 的 模型 ,并 
对 遗传 算法 搜索 的 有 效 性 进行 了 理论 证 明 ""。 图 4. 3 揭示 了 遗传 算法 的 思想 来 源 及 建 

遗传 算法 正 是 通过 模拟 日 然 界 中 生物 的 遗传 进化 过 程 ,对 优化 问题 的 最 优 解 进行 搜 
索 。 算 法 维护 一 个 代表 问题 潜在 解 的 群体 ,对 于 群体 的 进化 ,算法 引入 了 类 似 自 然 进化 中 
一 次 迭代 相当 于 生物 进化 中 的 一 次 循环 ) ,直到 满足 算法 的 终止 条 件 为 止 。 

在 遗传 算法 中 ,问题 的 每 个 有 效 解 被 称 为 一 个 "染色体 (chromosome)”, 在 有 些 书籍 
中 也 称 为 “ 串 ”, 相 对 于 群体 中 的 每 个 生物 个 体 (individual)。 染 色 体 的 具体 形式 是 一 个 使 
用 特定 编码 方式 生成 的 编码 串 。 编 码 串 中 的 每 一 个 编码 单元 称 为 “基因 (gene)”。 


1962 年 Holland 提 出 遗传 算法 的 基本 思想 


1967 年 Holland 的 学 生 Bagley 第 一 次 


使 用 “ 送 传 算法 ”一 词 


( 生物 模拟 技术 20 世 纪 70 年 代 初 ，Holland 提 出 著名 的 模 


式 定 理 , 建 立 了 造 传 算法 的 理论 基础 


遗传 过 程 进 
行 模拟 


1975 年 Holand 发表 专 普 《 目 然 系统 和 人 工 


系统 的 目 适 应 性 》， 系统 地 论述 了 遗传 算法 


图 4.3 遗传 算法 思想 来 源 及 建立 过 程 


遗传 算法 通过 比较 适应 值 (fitness value) 区 分 染色 体 的 优 劣 ,适应 值 越 大 的 染色 体 越 
RE. Fih AH evaluation function) 用 来 计算 并 确定 染色 体 对 应 的 适应 值 。 

选择 算 子 (selection) 按 照 一 定 的 规则 对 群体 的 染色 体 进 行 选择 ,得 到 父 代 种 群 。 一 
般 地 , 越 优秀 的 染色 体 被 选中 的 次 数 越 多 。 

交配 算 子 (crossover) 作 用 于 每 两 个 成 功 交 配 的 染色 体 ,染色 体 交 换 各 自 的 部 分 基 
因 , 产 生 两 个 子 代 染 色 体 。 子 代 染 色 体 取代 父 代 染色 体 进 入 新 种 群 ,而 没有 交配 的 染色 体 
则 直接 进入 新 种 群 。 

变异 算 子 (mutation) 使 新 种 群 进行 小 概率 的 变异 。 染 色 体 发 生变 异 的 基因 改变 数 
值 ,得 到 新 的 染色 体 。 经 过 变异 的 新 种 群 蔡 代 原 有 和 群体 进入 下 一 次 进化 。 

表 4. 1 给 出 了 从 生物 遗传 进化 到 遗传 算法 各 个 基本 概念 的 对 照 。 


表 4.1 生物 遗传 进化 的 基本 生物 要 素 和 遗传 算法 的 基本 要 素 定义 对 照 表 


生物 遗传 进化 遗传 算法 
群体 问题 搜索 空间 的 一 组 有 效 解 (表现 为 群体 规模 N) 
种 群 经 过 选择 产生 的 新 群体 (规模 同样 为 N) 
染色 体 问题 有 效 解 的 编码 串 
基因 染色 体 的 一 个 编码 单元 
适应 能 力 染色 体 的 适应 值 
交配 两 个 染色 体 交 换 部 分 基因 得 到 两 个 新 的 子 代 染色 体 
变异 染色 体 某 些 基 因 的 数值 发 生 改 变 
进化 结束 算法 满足 终止 条 件 时 结束 ,输出 全 局 最 优 解 


对 于 遗传 算法 的 基本 原理 ,Holland 给 出 了 著名 的 模式 定理 (Schema Theory) ,为 遗 
传 算 法 提供 了 理论 支持 。 

模式 (schema) 是 指 群体 中 编码 的 某 些 位 置 具 有 相似 结构 的 染色 体 集合 。 假 设 染 色 
体 的 编码 是 由 0 或 1 组 成 的 二 进 制 符号 序列 ,模式 01xxx0 则 表示 以 01 开头 且 以 0 结尾 
的 编码 串 对 应 的 染色 体 的 集合 , 即 1010000,010010,010100,010110,011000,011010， 
011100,011110}。 模 式 中 具有 确定 取 值 的 基因 个 数 叫做 模式 的 阶 (schema order) ,如 模 
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式 01xxx0 的 阶 为 3。 模式 的 定义 长 度 (schema defining length) 是 指 模 式 中 第 一 个 具有 确 
定 取 值 的 基因 到 最 后 一 个 具有 确定 取 值 的 基因 的 距离 ,例如 模式 01xxx0 的 定义 长 度 为 
5 ,而 * 1xxxx 的 定义 长 度 为 0。 

Holland 的 模式 定理 提出 ,遗传 算法 的 实质 是 通过 选择 .交配 和 变异 算 子 对 模式 进行 
搜索 , 低 阶 .定义 长 度 较 小 且 平 均 适 应 值 高 于 群体 平均 适应 值 的 模式 在 群体 中 的 比例 将 呈 
指数 级 增长 , 即 随 痢 进化 的 不 断 进行 , 较 优 染色 体 的 个 数 将 快速 增加 。 

模式 定理 证 明了 遗传 算法 寻求 全 局 最 优 解 的 可 能 性 ,但 不 能 保证 算法 一 定 能 找到 全 
amtii. Goldberg” E 1989 年 提出 了 积木 块 假设 (Building Block Hypothesis) ,对 模 
式 定 理 做 了 补充 ,说 明 遗 传 算 法 具有 能 够 找到 全 局 最 优 解 的 能 力 。 

积木 块 (building block) 是 指 低 阶 .定义 长 度 较 小 且 平 均 适 应 值 高 于 群体 平均 适应 值 
的 模式 。 积 木 块 假设 认为 在 遗传 算法 运行 过 程 中 ,积木 块 在 遗传 算 子 的 影响 下 能 够 相互 
结合 ,产生 新 的 更 加 优秀 的 积木 块 ,最终 接近 全 局 最 优 解 。 

目前 的 研究 还 不 能 够 对 积木 块 假设 是 否 成 立 给 出 一 个 严整 的 论断 和 证 明 , 但 是 大 量 
的 实验 和 应 用 为 积木 块 假设 提供 了 文 持 。 
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遗传 算法 的 提出 为 解决 复杂 优化 问题 提供 了 一 个 贺 新 而 有 效 的 思路 ,其 民 好 的 
搜索 能 力 和 较 强 的 健壮 性 受到 研究 学 者 的 广泛 认同 。 目 遗传 算法 提出 以 来 , 越 来 越 
多 的 学 者 投入 到 遗传 算法 的 研究 行列 。 与 此 同时 ,遗传 算法 被 成 功 地 应 用 于 各 种 不 
同 的 领域 ,为 解决 复杂 的 专门 领域 问题 提供 了 有 效 的 方法 I。 这 些 均 促进 了 遗传 
算法 的 发 展 ,不 断 扩 大 其 影响 力 。 图 4.4 给 出 了 对 遗传 算法 的 研究 内 容 和 人 研究 方 回 
的 总 结 。 

随 者 越 来 越 多 人 研究 学 者 的 参与 以 及 大 量 人 研究 成 果 的 产生 ,遗传 算法 的 理论 人 研究 正 以 
较 快 的 步伐 回 前 迈进 。 可 以 说 ,20 世纪 80 年 代 以 来 是 遗传 算法 快速 发 展 的 上 升 期 。 在 
此 期 间 , 有 关 遗 传 算法 的 学 术 活 动 日 益 医 支 。 每 年 以 遗传 算法 为 主题 或 与 其 相关 的 众多 
国际 会 议 在 世界 各 地 定期 召开 ,并 受到 越 来 越 广泛 的 关注 。 其 中 比较 知名 的 国际 会 议 有 : 
A 1985 年 开始 每 两 年 召开 一 届 的 美国 密 欣 根 大 学 国际 遗传 算法 会 议 (International 
Conference on Genetic Algorithms, ICGA)、 遗传 进化 计算 会 议 (ACM Genetic and 
Evolutionary Computation Conference, GECCO)、 进 化 计算 会 议 (IEEE International 
Conference on Evolutionary Computations, IEEE CEC) 遗传 算法 与 分 类 系统 人 研讨 会 
(Workshop on Foundations of Genetic Algorithms and Classifier Systems. FOGA/CS) , 
遗传 程序 设计 会 议 (Genetic Programming Conference, GPC) ,国际 人 工 生 命 学 术 讨 论 会 
(International Workshop on Artificial Life)、 进 化 规划 年 会 (Annual Conference on 
Evolutionary Programming) 、 国 际 进化 算法 前 沿 学 术 讨 论 会 (International Workshop on 
Frontiers in Evolutionary Algorithms, FEA), E Pr A iE M ír H ME N (International 
Conference on Simulation of Adaptive Behavior)、 借 助 自然 的 并 行 问 题 求解 国际 会 议 


(International Conference on Parallel Problem Solving from Nature,PPSN ) 。 


a 
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算法 的 性 能 研究 包括 对 遗传 算法 的 性 能 分 
析 和 改进 。 研 究 算法 主要 控制 参数 (如 群 
体 规模 、 交 配 概率 、 变 异 概率 ) 、 染 色 体 
编码 方式 以 及 各 类 算 子 操作 , 寻求 更 好 的 
改进 方法 ， 提 高 算法 的 搜索 性 能 


希望 通过 理论 研究 和 实 
一 外 验 分 析 ,提高 算法 的 求 
解 性 能 


算法 性 能 研究 六》 


研究 如 何 将 遗传 算法 和 其 他 优化 搜索 算法 如 希望 通过 研究 混合 算 
息 山 法 、 贪 禁 法 、 模 拟 退 火 算 法 等 结合 , 改 (Ly 法 ,提高 算法 的 搜索 
善 遗 传 算法 的 性 能 性 能 


随 着 大 规模 并 行 计算 机 的 问世 ,并行 计算 成 希望 通过 研究 ， 提 高 遗 


为 现代 计算 机 科学 的 重大 发 展 方向 HES | | 传 算法 的 计算 性 能 和 运 
并 行 算法 研究 O 法 自身 具备 的 并 行 性 适应 这 种 发 展 趋势 * 通 “上 行 效 对 适应 并 行 计算 

过 人 研究 实现 遗传 算法 的 并 行 计 算 , 可 以 有 效 的 发 展 趋势 ， 

地 提高 算法 的 运行 效率 


遗传 算法 最 初 是 用 于 设计 人 工 自 适应 系统 的 。 

自 提出 以 来 ， 算 法 的 应 用 范围 被 侠 速 地 拓宽 。 

目前 对 遗传 算法 应 用 的 研究 是 一 个 热门 的 

宛 信 域名 种 研究 相继 出 更， | | 
DEAM KE . HA [ IA Te PT A | 
算法 应 用 于 函数 优化 人 全 大 的 各 | 
(2) 算 法 应 用 于 机 器 学 习 的 分 类 系统 和 神经 网 用 性 

络 的 研究 : 


G) 算 法 应 用 于 图 像 处 理 和 模式 识别 的 研究 ， 


4.4 遗传 算法 的 研究 内 容 和 研究 方向 的 总 结 


同时 ,有 关 遗 传 算法 人 猎 究 和 应 用 的 学 术 文 草 也 日 益 受 到 一 些 国际 性 期 刊 的 关注 ,在 这 
些 期 刊 和 国际 会 议论 文集 中 越 来 越 多 地 出 现 遗 传 算法 的 相关 文章 “"。 国 际 期 刊 
《Evolutionary Computation》 和 《IEEE Transactions on Evolutionary Computation) fy i 
生 也 宣示 看 人 们 对 遗传 算法 的 重视 和 广泛 关注 。 


4.2 ”天 传 算法 的 流程 


42.1 流程 结构 


本 市 详细 介绍 遗传 算法 的 基本 流程 ,通过 算法 的 流程 结构 ,我 们 可 以 对 遗传 算法 的 运 
行 机制 有 一 个 清晰 的 认识 。 

遗传 算法 的 实现 主要 包含 了 以 下 七 个 重要 问题 : 

。 染色 体 的 编码 ; 

。 群体 的 初始 化 ; 

。 适应 值 评价 ; 


RAR TARA 
。 选择 种 群 ; 
。 Bh HEC AC ; 
。 PIRES; 
。 算法 流程 。 


这 几 个 问题 尤其 是 选择 算 子 .交配 算 子 和 变异 算 子 的 具体 实现 与 算法 搜索 全 局 最 
优 解 的 效果 息息相关 。 在 处 理 不 同 优 化 问题 时 ,以 上 几 个 方面 可 能 需要 根据 问题 的 特 
定 情况 采用 不 同 的 方法 实现 ,以 提高 遗传 算法 的 性 能 。 为 达到 初步 了 解 遗 传 算 法 设计 
和 使 用 方法 的 目的 ,在 本 节 接 下 来 的 内 容 中 ,我 们 暂 不 对 每 个 算 子 目前 可 用 的 方法 一 
一 作 完 整 且 详细 的 介绍 ,而 是 对 遗传 算法 实现 的 每 个 关键 步骤 给 出 一 个 或 几 个 常用 的 
解决 方法 。 

1. 染色 体 编码 

应 用 遗传 算法 ,需要 解决 问题 解 的 表示 , 即 染色 体 的 编码 方式 。 染 色 体 编码 方式 确定 
是 否 得 当 会 对 接 下 来 染色 体 的 交配 和 变异 操作 构成 影响 。 因 此 ,在 解决 一 个 特定 的 问题 
时 ,我 们 和 希望 找到 一 种 既 简 单 又 不 影响 算法 性 能 的 编码 方式 。 目 前 关于 这 部 分 的 理论 研 
究 和 应 用 探索 尚未 给 出 一 种 完整 是 有效 、 放 之 四 海 而 皆 准 的 遗传 算法 编码 理论 和 方案 。 
虽然 De Jong 曾经 在 他 的 研究 成 果 站 中 给 出 关于 确定 遗传 算法 染色 体 编码 方式 的 两 条 指 
叶 原 则 一 一 有 意义 积木 块 编码 原则 和 最 小 字符 集 编码 原 则 ,倡导 算法 使 用 的 编码 方案 应 
易于 产生 低 阶 旦 定义 长 度 较 短 的 模式 ,在 能 够 上 自然 描述 所 求 问 题 的 前 提 下 使 用 最 小 编码 
字符 集 , 但 是 在 具体 的 应 用 过 程 中 ,该 指导 原则 依然 无 法 完全 适用 于 全 部 问题 。 在 使 用 遗 
传 算 法 解决 具体 问题 的 时 候 , 采 用 何 种 编码 方案 并 不 是 一 概 而 论 的 ,而 应 该 尽量 分 析 问 题 
的 特点 ,制定 可 行 的 编码 方案 ,同时 也 可 借鉴 运用 遗传 算法 已 成 功 求解 的 类 似 问 题 的 编码 
先例 。 

目前 用 于 染色 体 编码 的 方法 有 格雷 码 编 码 、. 字母 编码 .多 参数 交叉 编码 等 。 在 这 里 ， 
我 们 仅 给 出 两 种 第 用 的 较 简 单 的 编码 方法 : 二 进 制 编码 方法 (Binary Representation) All 
浮 点 数 编 码 方法 (Float Point Representation)” 。 

二 进 制 编码 方法 产生 的 染色 体 是 一 表 4.2 染色 体 的 二 进 制 编 码 方法 
个 二 进 制 符号 序列 ,染色体 的 每 一 个 基 ”二 进 制 符号 串 对 应 的 实际 取 值 
因 只 能 取 值 0 或 1。 假定 问题 定义 的 有 0000.…0000 
效 解 取 值 空间 为 [LU ,U。.]2 ,其 中 了 1111…1111 
为 有 效 解 的 变量 维 数 ,使 用 工 位 二 进 制 
符号 串 表 示 解 的 一 维 变 量 , 则 我 们 可 以 
得 到 如 表 4. 2 所 示 的 编码 方式 : 

举 一 个 简单 的 例子 ,假设 [Ui, ,Us ] 为 [1, 64], 采 用 6 位 二 进 制 符号 串 进行 编码 , 则 
某 个 二 进 制 符 号 串 010101 代表 了 数值 22。 

因此 采用 工 位 进行 编码 时 的 精度 为 一 竺 一 - 呈 , 可 见 该 种 方法 在 编码 的 精度 方面 是 
较 差 的 。 当 要 求 采用 较 高 的 精度 或 表示 较 大 范围 的 数 时 ,必须 通过 增加 工 来 达到 要 
求 。 可 是 当 工 变 得 很 大 时 ,将 急剧 增加 算法 操作 的 复杂 度 。 所 以 二 进 制 编码 方法 虽然 
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符合 De Jong 提出 的 两 个 指导 原则 , 且 经 常 被 使 用 ,但 是 在 解决 某 些 精度 要 求 较 高 或 解 
含有 较 多 变量 的 优化 问题 时 ,人 们 却 不 得 不 寻求 男 外 一 种 更 好 的 编码 方法 ,如 浮 点 数 
编码 方法 。 

浮 点 数 编码 方法 中 ,染色体 的 长 度 等 于 问题 定义 的 解 的 变量 个 数 ,染色 体 的 每 一 个 基 
因 等 于 解 的 每 一 维 变 量 。 例 如 , 待 求 解 问题 的 一 个 有 效 解 为 X; 二 (zxl ,zx?,… ,zx? xP), 
其 中 D 为 解 的 变量 维 数 。 则 该 解 对 应 的 染色 体 编码 为 (zi ,xi ，… ,zx? xP) 

浮 点 数 编码 方法 适合 于 表示 取 值 范围 比较 大 的 数值 ,对 降低 采用 遗传 算法 对 染色 体 
进行 处 理 的 复杂 性 起 到 了 很 好 的 作用 。 

2. 群体 的 初始 化 

遗传 算法 在 一 个 给 定 的 初始 进化 群体 中 进行 迭代 搜索 。 一 般 情况 下 ,遗传 算法 在 群 
体 初始 化 阶段 采用 的 是 随机 数 初始 方法 。 采 用 生成 随机 数 的 方法 ,对 染色 体 的 每 一 维 变 
量 进行 初始 化 赋值 。 初 始 化 染色 体 时 必须 注意 染色 体 是 否 满 足 优化 问题 对 有 效 解 的 
定义 。 

如 果 在 进化 开始 时 保证 初始 群体 已 经 是 一 定 程度 上 的 优 恨 群体 的 话 ,将 能 够 有 效 提 
高 算法 找到 全 局 最 优 解 的 能 力 。 这 就 好 比 一 个 优良 的 物种 在 自然 进化 过 程 中 ,常常 占据 
有 利 的 位 置 , 且 保持 较 快 较 好 的 进化 程度 。 到 目前 为 止 ,已 有 部 分 学 者 尝试 在 保证 搜索 空 
间 完 备 性 的 基础 上 ,通过 某 种 方法 在 算法 的 开始 得 到 一 个 平均 适应 值 相对 较 高 的 初始 群 
体 再 进行 进化 来 提高 算法 的 求解 性 能 ,并 取得 了 一 定 的 成 效 。 

3. 适应 值 评价 

评估 函数 用 于 评估 各 个 染色 体 的 适应 值 ,进而 区 分 优 劣 。 评 佑 函数 常常 根据 问题 的 
优化 目标 来 确定 ,例如 在 求解 郴 数 优化 问题 时 ,问题 定义 的 目标 郴 数 可 以 作为 评估 函数 的 
原型 。 在 遗传 算法 中 ,规定 适应 值 越 大 的 染色 体 越 优 。 因 此 对 于 一 些 求解 最 大 值 的 数值 
优化 问题 ,我们 可 以 直接 套用 问题 定义 的 困 数 表达 式 。 但 是 对 于 其 他 优化 问题 ,问题 定义 
的 目标 函数 表达 式 必 须 经 过 一 定 的 变换 。 例 如 ,应 用 遗传 算法 求解 某 个 函数 的 最 小 值 ,可 
对 问题 定义 的 目标 函数 FCX) 进 行 以 下 变换 ,得 到 算法 的 评估 困 数 Eval (C): 

Eval (C) =— f(X) 

其 中 X 表示 一 个 有 效 解 ,C 表示 X 对 应 的 染色 体 。 


4. 选择 算 子 
种 群 的 选择 操作 使 用 轮 盘 赌 选择 算法 | 


传 算法 最 经 常 使 用 的 选择 算法 ,其 基本 思想 是 基 
于 概率 的 随机 选择 c 。 
轮 盘 赌 选择 算法 首先 根据 群体 中 每 个 染色 体 es | 
的 适应 值得 到 群体 所 有 染色 体 的 适应 值 总 和 ,并 
分 别 计算 每 个 染色 体 适应 值 与 群体 适应 值 总 和 的 
E P,; 其 次 假设 一 个 具有 N 个 扇 区 的 轮 盘 ,每 个 
肩 区 对 应 群体 中 的 一 个 染色 体 , 扇 区 的 大 小 与 对 
应 染色 体 的 P: 值 成 正比 关系 。 图 4.5 给 出 了 具 ”图 4.5 具有 4 个 扇 区 的 轮 盘 赌 模型 


(roulette wheel selection), #¢ fit FER EIR 
转动 方向 
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有 4 个 忆 区 的 轮 盘 赠 模 型 。 

每 选择 转动 一 次 轮 盘 , 轮 盘 转动 停止 时 指针 停留 的 悄 区 对 应 的 染色 体 即 被 选中 进入 
种 群 。 依 次 进行 N 次 选择 即 可 得 到 规模 同样 为 N 的 种 群 。 图 4. 6 是 用 来 模拟 轮 盘 一 次 
转动 的 程序 伪 代 码 。 


/* once of roulette wheel selection 
* 选中 的 染色 体 
关 / 
procedure RWS 
1 m0; 
2 r>Random(0,1); //0 至 1 的 随机 数 


3 for i=1 toN 
me mt P;; 
if r<=m 
return i; 
end if 
end for 
end procedure 


图 4.6 模拟 轮 盘 转动 的 程序 伪 代 码 


从 轮 盘 赌 选择 的 机 制 中 可 以 看 到 , 较 优 染色 体 的 已 值 较 大 ,被 选择 的 概率 就 相对 较 
大 。 但 由 于 选择 过 程 具有 随机 性 ,并 不 能 保证 每 次 选择 均 选 中 这 些 较 优 的 染色 体 , 因 此 也 
给 予 了 较 差 染色 体 一 定 的 生存 空间 。 

5. 交配 算 子 

在 染色 体 交 配 阶 段 ,每 个 染色 体能 否 进行 交配 由 交配 概率 P.( 一 般 取 值 为 0.4 一 0. 99 
之 间 ) 决 定 , 其 具体 过 程 为 : 对 于 每 个 染色 体 , 如 果 Random(0, 1) 小 于 P. 则 表示 该 染色 


体 可 进行 交配 操作 ,其 中 Random(0, 1) HLO, ”交配 位 置 

1] 间 均匀 分 布 的 随机 数 产 生 器 ,否则 染色 体 不 参 RHEL xy MD Xen Xe Xo 

与 交配 直接 复制 到 新 种 群 中 RN 
每 两 个 按照 P. 交配 概率 选择 出 来 的 染色 体 n 


进行 交配 ,经 过 交换 各 自 的 部 分 基因 ,产生 两 个 
新 的 子 代 染 色 体 。 其 具体 操作 是 随机 产生 一 个 FREE A % es 
有 效 的 交配 位 置 ,染色 体 交 换 位 于 该 交配 位 置 后 子 代 染色 体 2。 hN [Xo Xen Xp 
的 所 有 基因 。 图 4. 7 是 染色 体 交 配 示意 图 。 图 4.7 染色 休 交 配 示 意图 

交配 操作 应 该 注意 产生 的 子 代 染 色 体 应 满 
足 问题 对 有 效 解 的 定义 。 从 以 上 介绍 可 以 看 出 ,参与 交配 的 父 代 染 色 体 个 数 与 产生 的 子 
代 染 色 体 个 数 一 样 ,因此 新 种 群 的 规模 依然 为 N。 
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6. 变异 算 子 

染色 体 的 变异 作用 于 基因 之 上 ,对 于 交配 后 新 种 群 中 染色 体 的 每 一 位 基因 ,根据 变异 
概率 已 , 判断 该 基因 是 否 进 行 变 异 。 如 果 Random(0, 1) 小 于 Pm , 则 改变 该 基因 的 取 值 ， 
其 中 Razdoxm(C0，1) 为 L0,，1 间 均匀 分 布 的 随机 数 产 生 硕 ;否则 该 基因 不 发 生变 异 , 保 持 
不 变 。 图 4. 8 是 采用 二 进 制 编码 方式 的 染色 体 变 异 过 程 示 意图 ,其 中 黑色 箭头 所 指 位 置 
的 基因 发 生变 异 。 对 于 采用 浮 点 数 编码 形式 的 染色 体 奋 某 基 因 发 生变 异 , 则 可 使 用 前 面 
初始 群体 化 时 采用 的 随机 数 方法 随机 产生 一 个 满足 问题 定义 的 数值 取代 该 基因 现 有 
的 值 。 


I 


变异 
mime (oo 1 oo to io oF 


图 4.8 染色 体 变异 过 程 示 意图 


为 了 保持 遗传 算法 较 好 的 运行 性 能 ,变异 概率 Pn, 应 该 设置 在 一 个 合适 的 范围 。 变 
异 操作 通过 改变 原 有 染色 体 的 基因 ,在 提高 群体 多 样 性 方面 具有 明显 的 促进 作用 如 果 Pn 
过 小 ,算法 容易 早熟 。 但 是 在 算法 运行 的 过 程 中 ,已 找到 的 较 优 解 可 能 在 变异 过 程 中 章 到 
破坏 ,如 果 Pin 的 值 过 大 ,可 能 会 导致 算法 目前 所 处 的 较 好 的 搜索 状态 倒退 回 原 来 较 差 的 
情况 。 因 此 ,我 们 应 该 将 种 群 的 变异 限制 在 一 定 范围 内 。 一 般 地 ,P,, 可 设 定 在 0. 001 一 
0. 1 之 间 。 

7. 算法 流程 

以 上 对 遗传 算法 各 个 重要 步骤 进行 了 详细 的 介绍 , 接 下 来 我 们 给 出 遗传 算法 的 基本 
步骤 : 

Step 1 初始 化 规模 为 N 的 群体 ,其 中 染色 体 每 个 基因 的 值 采 用 随机 数 产 生 器 生成 
并 满足 问题 定义 的 范围 。 当 前 进化 代数 Generation=0, 

Step 2 采用 评估 了 艺 数 对 群体 中 所 有 染色 体 进 行 评 价 , 分 别 计算 每 个 染色 体 的 适应 
值 ,保存 适应 值 最 大 的 染色 体 Best. 

Step 3 采用 轮 盘 赌 选择 算法 对 群体 的 染色 体 进 行 选择 操作 ,产生 规模 同样 为 NN 的 
种 群 。 

Step 4 按照 概率 P. 从 种 群 中 选择 染色 体 进 行 交 配 。 每 两 个 进行 交配 的 父 代 染色 
体 ,交换 部 分 基因 ,产生 两 个 新 的 子 代 染色 体 , 子 代 染 色 体 取代 父 代 染色 体 进 入 新 种 群 。 
没有 进行 交配 的 染色 体 直接 复制 进入 新 种 群 。 

Step 5 按照 概率 Ph 对 新 种 群 中 染色 体 的 基因 进行 变异 操作 。 发 生变 异 的 基因 数 
值 发 生 改 变 。 变 异 后 的 染色 体 取 代 原 有 染色 体 进 入 新 群体 ,未 发 生变 异 的 染色 体 直 接 进 
入 新 群体 。 
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Step 6 ”变异 后 的 新 群体 取代 原 有 和 群体 ,重新 计算 群体 中 各 个 染色 体 的 适应 值 。 倘 
各 群体 的 最 大 适应 值 大 于 Best 的 适应 值 , 则 以 该 最 大 适应 值 对 应 的 染色 体 蔡 代 Best. 

Step 7 ”当前 进化 代数 Generation 加 1。 如 果 Generation 超过 规定 的 最 大 进化 代数 
或 Best 达到 规定 的 误差 要 求 , 算 法 结束 ;否则 返回 Step 3。 

图 4. 9 给 出 了 遗传 算法 的 流程 图 和 程序 伪 代 码 。 


P 
P(t) 表 示 某 一 代 的 群体 ,t 为 当前 进化 代数 
ine Best 表示 目前 已 找到 的 最 优 解 


适应 值 评价 ， 你 存 最 优 染 色 体 


initialize(P(t)); // 初 始 化 群体 


evaluate (P(t)); // 适 应 值 评价 


keep best (P(t)); // 保 存 最 优 染 色 体 
while (不 满足 终止 条 件 ) do 


D 


P(t)< selection (P(t) ); // 选 择 算 子 
P(t) crossover (P(t) ) // 交 配 算 子 
P(t)< mutation(P(t) ) ; // 变 异 算 子 
itis 


变异 
grenpe 


重新 评价 适应 值 ， 更 新 最 优 染色 体 se ll AN 
evaluate (P(t)); 


if (P(t) 的 最 优 适 应 值 大 于 Best 的 适应 值 ) 
// 以 P(t) 的 最 优 染 色 体 替代 Best 


不 

一 满足 终止 条 件 replace (Best) ; 
= end if 
FE 


end 
pii 


4.9 遗传 算法 流程 图 和 程序 伪 代 码 


422 应 用 举例 
下 面 通过 一 个 简单 的 函数 优化 的 例子 ,说 明 遗 传 算法 的 执行 过 程 。 
. — 1 = oe 
例 4.1 E Al eR AC y= flay 943 Se ee TO. E E ps Bs EE ee 5 x Xe 9 站 3 9 


xs<5, 用 遗传 算法 求解 y 的 最 大 值 ,请 写 出 关键 的 执行 步骤 。 
解 : 使 用 遗传 算法 求解 例 4. 1 的 执行 步骤 如 图 4. 10 所 示 。 
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nd anne “oan 对 每 个 染色 体 生成 的 Jp 
假设 群体 规模 为 5 ; 使 用 浮 点 数 编码 方式 构造 染色 体 ， 即 每 个 染 | “| 假设 交配 概率 为 0.88 。 下面 是 对 每 个 染色 { [0,] 的 随 
FALL (x) ,x ,Xa ,4) 的 形式 表示 。 机 数 ， 决定 染色 体 是 否 参加 交配 。 


初始 化 群体 的 染色 体 ， 得 到 1 0.341044<0.88 参加 交配 
Ci=(-2.1351, 2.0917, -0.1327, -4.1006) 2 0.6137971<0.88 参加 交配 
C,=(1.0152, -3.9811, -2.6638, 3.7535) 0.963042>0.88 不 参加 交配 
C,=(4.0589, 2.1904, —0.1503, 0.0023) 4 0.347545<0.88 参加 交配 
C,~(—3.4098, -3.0714, -0.9008, —4.3712) 5 0.593677<0.88 参加 交配 
Cs=(0.2073, 2.9932, —4.0802, 1.8794) BIC 和 C; > Ci 和 Cs 进行 交配 , 每 对 染色 体 交 配 时 随机 生成 
0~3 之 间 的 自然 数 作 为 交配 位 。 以 下 是 各 对 染色 体 的 交配 位 
和 得 到 的 子 代 染色 体 。 
(1) Ci = (1.0152, -3.9811.-2.6638. 3.7535) 
步骤 2 : 适应 值 评 价 P 和 Cy = (4.0589, 2.1904, —0.1 503, 0.0023) 
选择 评估 函数 交配 位 为 1 子 代 染 色 体 为 : 
i a = (1.0152, -3.9811, -0.1503, 0.0023) 
a ae re 2 = (4.0589, 2.1904 , -2.6638, 3.7535) 
xp tag ts tx4+l Ci 0152, 3.9811, 2.6638, 3.7535) 
计算 每 个 染色 体 的 适应 值 如 下 : 和 C= (0.2073, 2.9932, —4.0802, 1.8794) 
Eval(C,) = f(-2.1351, 2.0917, 0.1327, -4.1006) = 0.0373603 交配 位 六 为 2: 子 代 染 色 体 为 : 
Eval(C,)} = f (1.0152, -3.9811, -2.6638, 3.7535) = 0.0255988 (1.0152, —3.9811, -2.6638, 1.8794) 
Eval(C,) = f (4.0589, 2.1904, -0.1503, 0.0023) = 0.0448529 cn (0.2073, 2.9932, 4.0802, 3.7535) 
Eval(C,) = f (3.4098, -3.0714, -0.9008, —4.3712) = 0.0238214 harm 后 的 新 种 群 为 : 
Eval(Cs) = f (0.2073, 2.9932, -4.0802, 1.8794) = 0.0331319 C= (1.0152, -3.9811, -0.1503, 0.0023) 
因此 Best=C,, Eval( Best) = 0.0448529 cin (4.0589, 2.1904, -2.6638, 3.7535) 
eg C!" = (1.0152, -3.9811. -2.6638, 3.7535) 
Crai. 0152, -3.981 1, -2.6638, 1.8794) 
Cs =(0. 2073, 2.9932, —4.0802, 3.7535) 


Eval(C = y =f (Xis Xo. X3, X4)= 


TARAR ERE. 计算 群体 适应 值 总 和 为 0.0373603+ 
0.0255988+0.0448529+0.0238214+0.0331319=0.164765 


分 别 计算 每 个 染色 体 适 应 值 同 群体 适应 值 总 和 的 比 : 


. 226749 步骤 5 ,变异 
— 假设 变异 概率 为 0.1 。 对 于 每 个 染色 体 的 每 个 基因 随机 生成 
ee [0.1] 的 随机 数 , 若 该 随机 数 小 于 0.1, 则 改变 基因 的 值 . 否则 不 


| pd 改变 基因 的 值 。 以 下 是 发 生变 异 的 染色 体 和 基因 改变 的 过 程 。 


下 面 是 5 次 选择 产生 的 [0 ,1 的 随机 数 和 选中 的 染色 体 : C?!" = (1.0152,—3.9811, -2.6638, 3.7535)— 

(1) 0.278756 G C3" = (3.0953, -3.981 1 , —2.6638, 3.7535) 

(2) 0.604389 C: Cy" = (1.0152, -3.9811, -2.6638, 1.8794)— 

(3) 0.230964 C C}"= (1.0152, 0.0153, —2.6638, 1.8794) 

(4) 0.376263 C, 

(5) 0.858791 故 得 到 的 新 群体 为 : 

因此 得 到 种 群 为: C)"= (1.0152,—3.9811,—0.1503, 0.0023) 
C}=(1.0152, -3.9811, -2.6638, 3.7535) an (4.0589, 2.1904, —2.6638, 3.7535) 

C= (4.0589, 2.1904, —0.1503, 0.0023) “= (3.0953, -—3.9811,—-2.6638, 3.7535) 

C3= (1.0152, -3.9811. —2.6638, 3.7535) ci (1.0152, 0.0153, -2.6638, 1.8794) 

C4 =(1.0152, -3.9811, -2.6638, 3.7535) C;"= (0.2073, 2.9932, —4.0802, 3.7535) 

Cs= (0.2073, 2.9932, 4.0802, 1.8794) 


DIEG: 重新 评价 染色 体 适 应 值 ， 更 新 Best V 
步骤 7 : 判断 结束 计算 每 个 染色 体 的 适应 值 如 下 : 
如 果 满 足 算法 终止 条 件 ， 则 输出 找到 的 最 优 和 解 Best Eval(C\") = f (1.0152, —3.9811, -0.1503, 0.0023) = 0.0558585 
并 退出 程序 ; 否则 返回 步骤 3 继续 执行 。 Eval(C»") = f (4.0589, 2.1904, -2.6638, 3.7535) = 0.0230112 
Eval(C;") = f (3.0953, —3.981 1, —2.6638, 3.7535) = 0.0210019 
EvatC = f (1.0152, 0.0153, -2.6638, 1.8794) = 0.0789962 
Eval(C;") = f (0.2073, 2.9932, -4.0802, 3.7535) = 0.0245465 

因为 Max(0.0558585, 0.0230112, 0.0210019, 0.0789962, 0.0245465)= 
0.0789962>Eval(Best) , HBR Best : 
Best = Cj". Eval(Best) = 0.0789962 。 


图 4. 10 使 用 遗传 算法 求解 例 4. 1 的 步 又 图 示 
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4.3 ”遗传 算法 的 改进 


遗传 算法 簿 单 、 可 操作 性 强 , 具 有 和 较 强 的 健壮 性 和 普 适 性 以 及 潜在 的 并 行 性 ,并 且 拥 
有 和 较 好 的 全 局 搜索 能 力 ,能 够 以 较 大 的 概率 得 到 全 局 最 优 解 ,因此 多 个 领域 的 复杂 问题 相 
继 采 用 了 迁 传 算法 进行 解决 ,进而 促进 了 遗传 算法 理论 研究 的 不 断 发展 。 遗 传 算法 从 提 
出 到 现在 不 过 几 十 年 的 时 间 ,成 功 的 应 用 案例 展示 了 其 作为 一 种 随机 全 局 搜索 算法 的 强 
大 优势 和 能 力 , 同 时 ,在 应 用 中 出 现 的 问题 也 暴露 了 现 有 遗传 算法 的 局 限 和 不 足 -24 。 
因此 ,大 量 的 对 算法 进行 改进 的 人 研究 活动 从 未 停止 过 ,人 们 一 直 致 力 于 提高 和 拓展 算法 的 
能 力 。 

在 本 方 中 , 我 们 将 从 以 下 几 个 重要 方面 阐述 关于 遗传 算法 的 改进 ,其 中 包括 算 子 的 选 
择 、 参 数 的 设置 混合 遗传 算法 和 并 行 遗传 算法 。 


43.1 算 子 选择 


首先 是 选择 操作 。 种 群 的 选择 是 遗传 算法 中 一 项 重要 的 操作 。 和 上 自然 选择 保存 下 来 的 
物种 决定 了 生物 的 进化 程度 。 同 样 地 ,选择 的 效率 如 何 , 即 是 否 能 够 保证 留 下 来 的 染色 体 
是 具有 进化 发 展 潜 力 的 染色 体 或 是 目前 较 好 的 染色 体 ,对 遗传 算法 的 性 能 具有 主要 的 决 
定 作 用 。 

在 4. 2 节 介 绍 的 遗传 算法 的 基本 流程 中 ,我 们 给 出 的 选择 算 子 是 基于 轮 盘 赌 选择 算 
法 的 。 轮 盘 赌 选择 算法 由 于 其 思想 简单 实现 容易 而 成 为 遗传 算法 最 第 用 的 选择 算 子 。 
从 轮 盘 赌 选择 的 实现 机 制 可 以 看 到 , 较 优 染色 体 的 己 值 较 大 ,被 选择 的 概率 相对 较 大 。 
同时 由 于 选择 的 随机 性 ,当前 较 差 的 染色 体 也 具有 一 定 的 生存 空间 。 这 正 是 人 们 倾向 于 
使 用 轮 盘 赌 选择 算法 的 原因 ,但 轮 盘 赌 选择 算法 并 不 是 一 种 完美 的 方法 。 随 机 地 选择 会 
导致 选择 误差 较 大 ,有 了 时候 可 能 选 不 上 适应 值 较 高 的 染色 体 。 

选择 算法 的 研究 一 直 是 改进 遗传 算法 的 重要 内 容 之 一 。 各 种 不 同 的 选择 算法 和 模型 
相继 推出 。 表 4. 3 给 出 了 几 种 较为 常见 的 选择 算法 模型 。 

表 4.3 遗传 算法 选择 模型 


适应 值 比例 模型 ( 轮 盘 赌 选择 ) Fitness Proportional Model [6] 
最 佳 个 体 保存 模型 Elitist Model [6] 
排挤 模型 Crowding Model [6] 
确定 性 采样 Deterministic Sampling [25] 
期 望 值 模型 Expected Value Model [25] 
无 回放 余数 随机 采样 Remainder Stochastic Sampling with Replacement [25 ] 
随机 锦标 赛 模 型 Stochastic Tournament Model [25] 


排序 模型 Rank-based Model [26 | 


其 次 是 交配 操作 。 在 4. 2 节 给 出 的 交配 规则 属于 单 点 交配 (One-point Crossover)! 。 
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随 着 对 遗传 算法 人 研究 的 深入 ,人 们 提出 了 一 些 其 他 的 交配 算 子 ,并 进行 了 大 量 的 改进 。 
表 4.4 给 出 了 这 些 由 型 的 交配 算 子 ,如 两 点 交配 (Two-point Crossover)、 多 点 交配 
(Multi-point Crossover), 49 5 3 M (Uniform Crossover )、 算 术 交 配 ( Arithmetic 
Crossover) 。 同 时 ,学 者 在 研究 遗传 算法 的 具体 应 用 时 ,针对 问题 和 具体 的 染色 体 编码 方 
式 开 发 出 了 许多 独特 的 较为 成 功 的 交配 算 子 ,这 些 交 配 算 子 同样 被 广泛 地 借鉴 和 应 用 。 
如 表 4. 4 所 示 ,针对 旅行 商 问 题 (Traveling Salesman Problem ,TSP) 问 题 基 于 路 径 表 示 
的 染色 体 编码 方法 ,Goldberg 等 人 中 在 1985 年 提出 部 分 匹配 交配 算 子 ,同一 年 Davis 等 
AM FE TU FR OE Be BF. Oliver AC 则 在 1987 年 提出 循环 交配 算 子 ,还 有 
Whitley! F 1989 年 给 出 的 边 重 组 交配 算 子 。Nagata Ail Kobayashi 提出 的 边 集合 交 
配 算 子 成 为 目前 用 于 TSP 的 极为 重要 的 交配 算 子 。 


表 4.4 遗传 算法 交配 算 子 


算 子 名 称 ( 中 文 ) 参考 文献 
多 点 交配 Multi-point Crossover C6] 
部 分 匹配 交配 算 子 Partially Matched Crossover, PMX [27] 
顺序 交配 算 子 Ordered Crossover, OX [28] 
循环 交配 算 子 Cycle Crossover,CX [29] 
边 重 组 交配 算 子 Edge Recombination ,ER [30] 
边 集 合 交 配 算 子 Edge Assembly Crossover, EAX [31] 
两 点 交配 Two-point Crossover [32] 
均匀 交配 Uniform Crossover [33] 
算术 交配 Arithmetic Crossover [34] 
单 性 孢子 交配 算 子 Partheno-Crossover [35] 


最 后 是 变异 操作 。 前 面 在 4. 2 节 所 涉及 的 二 进 制 编码 染色 体 和 浮 点 数 编 码 染 色 体 的 
变异 操作 分 别 属 于 简单 变异 (Simple Mutation)» 和 均匀 变异 (Uniform Mutation)» 。 
对 遗传 算法 的 改进 研究 同样 给 出 了 一 些 新 的 变异 算 子 ,如 表 4.5 所 示 。 


表 4.5 遗传 算法 变异 算 子 


边界 变异 Boundary Mutation [34 
高 斯 变异 Gaussian Mutation [34 ] 
非 均 匀 变 异 Non-uniform Mutation [36 ] 


43.2 参数 设置 


遗传 算法 涉及 的 主要 控制 参数 .有 群体 规模 N ,染色 体 的 长 度 工 ,基因 的 取 值 范 
围 尺 ,交配 概率 P, ,变异 概率 Pn ,适应 值 评价 ,终止 条 件 。 表 4. 6 将 这 些 参数 对 于 遗传 算 
法 的 意义 和 经 验 设 置 进 行 了 归纳 。 


群体 规模 N 


染色 体 的 长 度 工 


基因 的 取 值 范 
Fi] R 


交配 概率 P. 


变异 概率 Pn 


适应 值 评价 


终止 条 件 
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表 4.6 遗传 算法 参数 经 验 设置 


参考 设置 V 表示 参数 的 意义 。 表示 参数 的 经 验 设置 


J 


es 


影响 算法 的 搜索 能 力 和 运行 效率 。 

若 六 设置 较 大 ,一 次 进化 所 覆盖 的 模式 较 多 ,可 以 保证 群体 的 多 样 性 ,从 而 提 
高 算法 的 搜索 能 力 , 但 是 由 于 群体 中 染色 体 的 个 数 较 多 ,势必 增加 算法 的 计算 
量 ,降低 了 算法 的 运行 效率 。 

若 N 设置 较 小 ,虽然 降低 了 计算 量 , 但 是 同时 降低 了 每 次 进化 中 群体 包含 更 
Ze BE Ye fe RAN AE TI 。 

N 的 设置 一 般 为 20 一 100。 


影响 算法 的 计算 量 和 交配 变异 操作 的 效果 。 

L 的 设置 跟 优 化 问题 密切 相关 ,一 般 由 问题 定义 的 解 的 形式 和 选择 的 编码 方 
法 决定 。 

对 于 二 进 制 编码 方法 ,染色 体 的 长 度 工 根据 解 的 取 值 范围 和 规定 精度 要 求 选 
择 大 小 。 

对 于 浮 点 数 编码 方法 ,染色体 的 长 度 工 跟 问题 定义 的 解 的 维 数 D 相同 。 

除了 染色 体 长 度 一 定 的 编码 方法 ,Goldberg 等 人 中 还 提出 了 一 种 变 长 度 染 色 
体 遗 传 算法 Messy GA ,其 染色 体 的 长 度 并 不 是 固定 的 。 


R 视 采 用 的 染色 体 编码 方案 而 定 。 
对 于 二 进 制 编码 方法 ,R= 二 (0,1}) ,而 对 于 浮 点 数 编码 方法 ,R 与 优化 问题 定义 
的 解 每 一 维 变量 的 取 值 范围 相同 。 


决定 了 进化 过 程 种 群 参 加 交配 的 染色 体 平均 数目 P. XN。 
P. 的 取 值 一 般 为 0.4 一 0. 99. 
也 可 采用 自 适应 的 方法 调整 算法 运行 过 程 中 的 P. Ao. 


增加 群体 进化 的 多 样 性 ,决定 了 进化 过 程 中 群体 发 生变 异 的 基因 平均 个 数 。 
P, 的 值 不 宜 过 大 。 因 为 变异 对 已 找到 的 较 优 解 具 有 一 定 的 破坏 作用 ,如 果 
Pn 的 值 太 大 ,可 能 会 导致 算法 目前 所 处 的 较 好 的 搜索 状态 倒退 回 原来 较 差 的 
情况 。 

P,, 的 取 值 一 般 为 0.001 一 0. 1 。 

也 可 采用 自 适 应 的 方法 调整 算法 运行 过 程 中 的 Pah fA". 


影响 算法 对 种 群 的 选择 ,恰当 的 评估 函数 应 该 能 够 对 染色 体 的 优 劣 做 出 合适 
的 区 分 ,保证 选择 机 制 的 有 效 性 ,从 而 提高 群体 的 进化 能 力 。 

评估 函数 的 设置 同 优化 问题 的 求解 目标 有 关 。 

评估 函数 应 满足 较 优 染色 体 的 适应 值 较 大 的 规定 。 

为 了 更 好 地 提高 选择 的 效能 ,可 以 对 评估 函数 做 出 一 定 的 修正 。 

目前 主要 的 评估 函数 修正 方法 有 : 

名 线性 变换 

a He EHR 

名 指数 变换 等 


决定 算法 何 时 停止 运行 ,输出 找到 的 最 优 解 。 

采用 何 种 终止 条 件 , 跟 具体 问题 的 应 用 有 关 。 

可 以 使 算法 在 达到 最 大 进化 代数 时 停止 ,最 大 进化 代数 一 般 可 设置 为 100 一 
1000 ,根据 具体 问题 可 对 该 建议 值 作 相应 的 修改 。 

也 可 以 通过 考察 找到 的 当前 最 优 解 的 情况 来 控制 算法 的 停止 。 例 如 , 当 目 前 
进化 过 程 算法 找到 的 最 优 解 达到 一 定 的 误差 要 求 , 则 算法 可 以 停止 。 误 差 范 
围 的 设置 同样 跟 具 体 的 优化 问题 相关 。 或 者 是 算法 在 持续 很 长 的 一 段 进 化 时 
间 内 所 找到 的 最 优 解 没 有 得 到 改善 时 ,算法 可 以 停止 。 
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43.3 混合 遗传 算法 


混合 遗传 算法 (Hybrid Genetic Algorithm, HGA) 是 将 遗传 算法 同 其 他 优化 算 
法 有 机 结合 的 混合 算法 ,目的 在 于 得 到 性 能 更 优 的 算法 ,提高 遗传 算法 求解 问题 的 
能 力 。 

提出 混合 遗传 算法 思想 的 主要 原因 有 二 : 一 是 遗传 算法 存在 局 部 搜索 能 力 较 弱 的 缺 
点 ,而 遗传 算法 之 外 的 其 他 搜索 方法 如 疏 山 法 (Hillclimbing Algorithm)、 最 速 下 降 法 
(Steepest Descent Method)、 局 部 搜索 算法 (Local Search Algorithm) 和 模拟 退火 算法 
(Simulated Annealing Algorithm) 却 在 局 部 搜索 方面 具有 得 天 独 厚 的 优势 ,将 这 些 优 化 
方法 融入 遗传 算法 可 以 成 为 改进 遗传 算法 局 部 搜索 能 力 的 有 效 途 径 。 

二 是 虽然 遗传 算法 对 问题 应 用 求解 具有 很 强 的 普 适 性 ,但 是 应 用 于 特定 的 专门 领域 
问题 时 ,遗传 算法 可 能 不 是 解决 问题 的 最 佳 方法 ,并 不 能 保证 最 佳 的 求解 性 能 。 而 当 人 们 
试图 往 遗 传 算法 中 加 入 专门 领域 特定 知识 时 ,发 现 遗 传 算法 的 性 能 明显 改善 “2 。 

混合 的 思想 能 够 成 功 地 使 得 到 的 混合 算法 在 性 能 上 超过 原 有 的 遗传 算法 的 。 表 4. 7 
归纳 了 一 些 混 合 遗传 算法 的 成 功 实 例 。 

表 4.7 混合 遗传 算法 的 成 功 实例 


混合 算法 名 称 参考 文献 
并 行 组 合 模拟 退火 算法 (Parallel Recombination Simulated Annealing, PRSA) [43 ] 
并 行 模拟 退火 遗传 算法 (Parallel Simulated Annealing and Genetic Algorithms, PSAGA) [44 ] 
贪 焚 遗传 算法 (Greedy Genetic Algorithm, GGA) [46 | 
遗传 比率 切割 算法 (Genetic Ratio-Cut Algorithm, GRCA) [47 ] 
遗传 假山 法 (Genetic Hillclimbing Algorithm, GHA) [48] 
引入 局 部 改善 操作 的 混合 遗传 算法 [49] 
免疫 遗传 算法 (Immune Genetic Algorithm, IGA) C50] 


4.3.4 并 行 遗 传 算 法 


并 行 计 算 (Parallel Computing) 区 别 于 在 单 指令 流 单数 据 流 (Single Instruction 
Single Data,SISD) 处 理 右 上 执行 的 串 行 计算 (Serial Computing) ,是 一 种 通过 使 用 单 指令 
流 多 数据 流 (Single Instruction Multiple Data, SIMD) 计算 机 、 多 指令 流 多 数据 流 
(Multiple Instruction Multiple Data,MIMD) 计 算 机 或 并 行 计 算 网 络 来 快速 解决 大 型 而 
又 复杂 的 计算 问题 的 新 的 现代 计算 技术 。 并 行 计 算 能 够 充分 利用 各 种 计算 资源 和 存储 资 
源 , 是 突破 目前 计算 机 计算 瓶颈 的 可 行 技术 之 一 。 随 春 并 行 计 算 机 和 网 络 的 飞速 发 展 ,并 
行 计算 的 基础 越 来 越 稳固 ,并 以 较 快 的 速度 发 展 和 完善 。 并 行 计算 技术 为 解决 遗传 算法 
的 计算 效率 问题 提供 了 有 效 的 技术 手段 。 在 遗传 算法 运行 过 程 中 ,算法 的 计算 量 在 群 
体 规模 较 大 时 将 急剧 增加 ,尤其 是 染色 体 适 应 值 的 计算 将 占据 CPU 大 量 的 计算 时 间 ， 
从 而 降低 了 算法 的 运行 速度 。 男 一 方面 ,遗传 算法 具有 潜在 的 并 行 性 "51, 虽然 算法 从 
整体 的 流程 上 看 仍然 是 串 行 的 ,但 是 算法 运行 过 程 中 对 每 个 染色 体 的 处 理 却 是 具有 一 
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定 的 相互 独立 性 的 ,例如 变异 操作 、 适 应 值 计算 。 这 为 器 遗 传 算 法 中 引入 并 行 计 算 技 
术 的 实现 提供 了 可 行 条 件 。 因 此 出 现 了 并 行 遗 传 算法 (Parallel Genetic Algorithm, 
PGA) 5 的 概念 。 

接 下 来 讨论 如 何 将 并 行 计 算 应 用 于 遗传 算法 。 在 目前 的 研究 应 用 中 ,并行 遗传 算法 
有 两 种 表现 形式 ,一 种 是 标准 型 并 行 方法 (Standard Parallel Approach) , 另 一 种 是 分 解 型 
并 行 方法 (Decomposition Parallel Approach) 。 

标准 型 并 行 方法 并 没有 根本 改变 遗传 算法 整体 上 的 串 行 计算 结构 ,只 是 在 算法 的 某 
些 操作 中 引入 并 行 计 算 技 术 , 这 些 操作 包括 适应 值 计 算 、 选 择 操作 、 交 配 操 作 、 变 异 操作 
EESTI 。 图 4.11 是 标准 型 并 行 方法 实现 遗传 算法 各 个 操作 并 行 化 的 示意 图 。 


将 规模 为 A 的 群体 中 
的 染色 体 进行 分 组 , 再 反 
分 组 分 配 到 不 同 的 计算 次 

源 上 执行 初始 化 操作 


对 染色 体 进行 分 组 , 骨 
把 分 组 分 配 到 不 同 的 计算 
俯 源 分 别 独立 进行 染色 体 
的 适应 值 计算 


先 根据 交配 概率 Pak 
择 可 以 参加 交配 的 染色 体 ， 


对 交配 的 染色 体 对 进行 分 
组 ,再 分 配 到 各 个 计算 次 
源 上 据 行 交配 操作 


对 染色 体 进行 分 组 ,再 
把 分 组 分 配 到 不 同 的 计算 | 
资源 上 ,分 别 对 染色 体 的 基 
因 按照 变异 概率 P,, 进 行 变 
异 操作 


图 4.11 标准 型 并 行 方法 简单 示意 图 


分 解 型 并 行 方 法 的 基本 思想 是 将 整个 群体 分 解 成 几 个 子 群体 ,各 个 子 群 体 分 配 到 不 
同 的 计算 资源 上 分 别 独立 地 使 用 原 有 的 遗传 算法 进行 进化 。 可 见 ,这 种 思想 更 贴近 于 日 
然 界 的 生物 进化 系统 。 由 于 地 域 的 限制 ,分 布 在 不 同 地 域 的 同一 种 生物 的 进化 过 程 是 不 
相同 的 ,最 终 导 致 出 现 各 种 不 同 的 物种 。 不 同 物种 适应 环境 的 能 力 不 尽 相同 。 同 样 地 , 独 
立 进行 进化 的 各 个 子 群体 在 各 个 阶段 的 进化 程度 也 是 不 同 的 。 因 此 ,分 解 型 并 行 方法 要 
求 每 隔 一 定 的 进化 代数 需要 对 各 个 子 群 体 的 进化 结果 信息 进行 交换 。 图 4. 12 给 出 了 分 
解 型 并 行 方法 简单 示意 图 。 

在 分 解 型 并 行 遗 传 算法 中 ,各 个 子 群体 的 信息 交换 是 一 个 重要 的 操作 。 对 于 子 群 体 
之 间 如 何 交 换 进化 信息 ,需要 解决 表 4. 8 中 列 出 的 几 个 重要 问题 。 
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问题 
交换 的 时 间 
交换 的 方式 


交换 的 内 容 


4.12 分 解 型 并 行 方 法 简单 示意 图 


表 4.8 子 群体 进化 信息 交换 问题 
对 应 的 定义 
每 隔 多 少 个 进化 代数 实行 信息 交换 
每 次 参与 信息 交换 的 子 群体 如 何 确定 ,每 个 子 群体 和 其 他 哪些 子 群体 进行 交换 


可 以 是 用 子 群体 之 间 适 应 值 最 大 的 最 优 染 色 体 取代 参与 交换 的 子 群 体 的 最 优 染 色 
体 , 也 可 以 是 交换 子 群体 的 部 分 较 优 染色 体 等 


围绕 分 解 型 并 行 遗 传 算 法 的 信息 交换 操作 ,学 者 们 提出 了 许多 创造 性 的 方法 。 目 前 
的 研究 成 果 给 出 了 几 种 典型 的 实现 并 行 遗 传 算 法 的 群体 模型 . 岛屿 模型 (Island Model), 
踏 脚 石 模型 (Stepping-stone Model) AIRE (Neighborhood Model)。 基 于 这 些 群 体 模 
型 ,许多 学 者 使 用 不 同 的 信息 交换 策略 ,开发 出 了 各 种 独特 的 并 行 遗 传 算法 。 这 些 算法 各 
有 自己 的 优点 ,成 功 地 提高 了 算法 的 运行 效率 。 表 4. 9 给 出 了 各 种 群体 模型 下 成 功 的 并 


行 遗 传 算法 实例 。 
表 4.9 各 种 群体 模型 下 成 功 的 并 行 遗 传 算法 实例 
踏 脚 石 模型 
异步 并 行 遗 传 优 化 策略 四 [66] 
邻居 模型 (Asynchronous Parallel Genetic Optimization Strategy, ASPARAGOS) 
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4.4 遗传 算法 的 应 用 


遗传 算法 最 早 用 于 研究 和 设计 人 工 自 适应 系统 ”和 求解 函数 优化 问题 中 。 随 着 
对 遗传 算法 的 研究 逐步 深入 ,遗传 算法 的 性 能 不 断 地 得 到 改进 和 完善 ,算法 的 应 用 涉及 更 
加 广泛 的 领域 ,并 表现 出 很 好 的 解决 问题 的 能 力 。 目 前 ,遗传 算法 的 应 用 范围 已 延伸 到 组 
Br AE 图像 处 理 ” ”模式 识别 ””” 智能 控制 1、 神经 网 络 - ”中 、 自 动 程序 设计 、 
BL ee JO A TEO .数据 挖掘 、 网 络 通信 ' 呈 等 多 个 领域 和 各 类 学 科 如 电子 工 
EFO EJS ee ON 、 经 济 学 和 电磁 学 E, 

1. 优化 与 调度 应 用 

大 量 实际 工程 系统 的 设计 和 优化 问题 可 以 转换 为 函数 优化 问题 进行 解决 。 郧 数 优化 
问题 是 一 类 通过 对 函数 变量 进行 数值 的 设置 优化 以 达到 函数 优化 目标 的 问题 。 函 数 优 化 
是 遗传 算法 的 传统 应 用 领域 , 随 大 对 遗传 算法 的 不 断 改 进 ,遗传 算法 应 用 于 解决 函数 优化 
问题 已 经 越 来 越 成 熟 。 

实际 生产 生活 中 存在 许多 调度 和 规划 问题 ,这 类 问题 属于 组 合 优化 问题 ,通常 涉及 比 
限 数 优化 更 为 复杂 的 优化 目标 ,例如 作业 调度 问题 、 旅 行商 问题 \ 布 局 问题 等 。 到 目前 为 
止 ,遗传 算法 已 经 成 功 地 在 许多 调度 和 规划 问题 上 给 出 了 令 人 满意 的 解决 结果 。 表 4. 10 
提供 了 遗传 算法 在 工程 系统 设计 优化 与 调度 规划 方面 的 成 功 应 用 。 


表 4.10 遗传 算法 在 工程 系统 设计 优化 与 调度 规划 方面 的 成 功 应 用 


管道 系统 优化 Pipe system optimization [10] 
作业 调度 问题 Job shop scheduling problem [98]L99 | 
划分 问题 Graph partitioning problem [100 | 
木材 切割 优化 问题 Lumber cutting optimization problem [101] 
指派 问题 Assignment problem [102 ] 
网 络 划分 问题 Network partitioning problem [103 ] 
映射 问题 Mapping problem [104 
设备 布局 设计 Facility layout design [105 ] 
运输 问题 Transportation problem [106 | 
背包 问题 Knapsack problem [107 [108 ] 
最 小 生成 树 问 题 Minimum spanning tree problem [109 | 
旅行 商 问 题 Traveling salesman problem [110] 
影片 递交 间 题 Film-copy deliverer problem [111] 
可 靠 性 优化 问题 Reliability optimization problem [112] 
流水 车 间 问 题 Flow shop problem [113 ] 
模糊 车 辆 路 径 问 题 Fuzzy vehicle routing problem [114] 


其 他 Others | 


2. 其 他 方面 的 应 用 
遗传 算法 的 应 用 范围 并 不 局 限于 函数 优化 和 组 合 优 化 问题 ,而 且 广 泛 地 应 用 于 图 像 
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处 理 和 模式 识别 、 机 器 学 习 、 智 能 控制 、 人 工 生 命 、 自 动 程 序 设 计 等 重要 领域 ,如 表 4. 11 所 
示 。 目 前 关于 遗传 算法 应 用 的 研究 和 尝试 活动 依然 鞍 勃 发 展 , 随 着 遗传 算法 的 不 断 发 展 ， 
相信 遗传 算法 能 够 有 效 地 应 用 于 其 他 更 多 的 领域 。 


表 4.11 遗传 算法 在 其 他 方面 的 应 用 
名 图 像 处 理 和 模式 识别 


。 图 像 分 割 

Bhanu B,Lee S 和 Ming J 将 遗传 算法 应 用 于 自 优 化 图 像 分 割 "]，; 

Chun D N 和 Yang H S 使 用 带 模 糊 测 度 的 遗传 算法 实现 具有 健壮 性 的 图 像 分 割 技 术 "]。 
。 图 像 复 原 及 重建 优化 

Chen Y W 使 用 基于 岛屿 模型 的 并 行 遗传 算法 实现 对 图 像 的 复原 ; 

Chen Y W 使 用 调和 算 子 约束 的 遗传 算法 对 中 子 半 影 成 像 的 重建 问题 进行 了 研究 [9 。 
。 图 像 识 别 检索 

Bhandarkar SM 等 人 成 功 将 遗传 算法 应 用 于 对 图 像 边 缘 的 检测 ; 

Cross AD 等 人 使 用 遗传 算法 进行 图 形 匹 配 "]，。 


名 机 器 学 习 


。 学 习 分 类 系统 
Holland J H 等 人 "J 在 1978 年 成 功 实现 了 第 一 个 基于 遗传 算法 的 分 类 系统 (Classifier 
Systems) 第 一 级 认 知 系统 CS-1; 
Smith SF 在 1980 年 成 功 实现 基于 遗传 算法 的 机 器 学 习 系统 LS-1521 ; 
Booker L B F 1982 年 在 其 博士 论文 中 提出 另 一 种 基于 遗传 算法 的 分 类 系统 上 ; 
Wilson S W 使 用 遗传 算法 于 1985 年 ' 鸣 成 功 开 发 了 用 于 协调 可 移动 视频 摄像 机 感知 运动 的 分 类 
系统 EYE-EYE; 此 后 他 又 提出 新 的 分 类 系统 ANIMAT) ; 
Goldberg D E 运用 遗传 算法 和 规则 学 习 实现 用 于 控制 煤气 管道 计算 机 辅助 系统 的 分 类 系统 1 ; 
De Jong K A 等 人 使 用 遗传 算法 研制 了 概念 学 习 系 统 GABIL'” ; 
Janikow C Z 实 现 的 GIL! 和 Green D P 等 人 研制 的 COGIN” 也 是 通过 遗传 算法 实现 概念 学 习 
的 特有 操作 。 
。 神经 网 络 
Vittorio Maniezzo 将 遗传 算法 应 用 于 神经 网 络 拓扑 结构 和 连接 权 值 的 优化 -7 ; 
Bornholdt S 等 人 成 功 将 遗传 算法 应 用 于 非 对 称 神 经 网 络 的 设计 ; 
Schaffer J D 等 人 利用 遗传 算法 改进 神经 网 络 的 突现 行为 "9 ; 
Marshall SJ 等 人 实现 基于 遗传 算法 的 前 馈 神经 网 络 优 化 和 训练 5]，。 


乞 智 能 控制 


。 使 用 GA 实现 系统 识别 和 控制 

。 使 用 GA 实现 谈判 支持 系统 

。 使 用 GA 实现 模糊 控制 器 的 自动 调整 7” 
。 使 用 GA 实现 控制 器 的 设计 和 调整 


名 其 他 


e ATEMU 
自动 程序 设计 中 
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1. 请 阐述 遗传 算法 的 基本 思想 来 源 。 
2. 请 写 出 遗传 算法 执行 过 程 的 基本 步骤 。 
MN 二 — l 
3. BRRR y = f C219 T29 Z3 s 24) = ireke S ， 


zzyzsy4s10, 使 用 遗传 算法 求解 y 的 最 大 值 ,请 仿照 例 4. 1 写 出 关键 的 求解 步骤 。 


例 4. 


4. 谈 谈 你 对 4. 3. 1 节 涉 及 的 几 种 选择 算法 熟 优 熟 劣 的 看 法 。 

5. APA ER ASR, 并 简单 描述 各 个 控制 参数 对 算法 的 作用 和 意义 。 
6. 请 写 出 对 评估 盟 数 进行 修正 的 主要 方法 。 

7. 参阅 有 关 文 献 ,探讨 混合 遗传 算法 优 于 基本 遗传 算法 的 特点 。 

8. 试 比较 并 行 遗传 算法 中 标准 型 并 行 方法 和 分 解 型 并 行 方 法 的 不 同 之 处 。 

9. 按照 4. 2 节 给 出 的 遗传 算法 基本 流程 结构 上 机 编写 完整 的 遗传 算法 程序 ,实现 对 
1 和 习题 3 完整 的 求解 。 

10. 在 习题 9 的 遗传 算法 程序 中 对 遗传 算法 几 个 主要 控制 参数 的 取 值 进行 修改 , 比 


较 修 改 前 后 程序 的 运行 性 能 。 
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蚁 群 优化 算法 


RBS 


FPA FETAL ce IGE A He FR TA LPI H ETS ,它们 是 如 何 
确立 寻找 的 路 线 的 ? 是 如 何 与 同伴 合作 交流 的 ? 会 不 会 也 是 一 种 优化 行 
为 呢 ? 我 们 能 据 此 设计 出 一 种 最 优化 搜索 算法 吗 ? 


Eg 


蚂蚁 群体 寻 技 食物 的 过 程 可 以 看 
做 是 一 种 启发 式 搜 索 过 程 .蚂蚁 之 间 
通过 一 种 称 为 信息 素 (Pheromone) 的 
物质 实现 了 相互 的 间接 通信 , 从 而 能 
人 够 合作 发 现 从 蚁 穴 到 食物 源 的 最 短 
路 径 。 

通过 对 这 种 群体 智能 行为 的 抽 
RE, 研究 者 提出 了 蚁 群 优化 算 
法 (Ant Colony Optimization, ACO), 
为 最 优化 问题 , 尤其 是 组 合 优 化 问 
题 的 求解 提供 了 一 强 有 力 的 手段 。 
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蚁 群 优化 算法 (Ant Colony Optimization ,ACO) 作 为 一 种 全 局 最 优化 搜索 方法 , 同 遗 
传 算法 一 样 来 源 于 自然 界 的 启示 ,并 有 着 良好 的 搜索 性 能 。 不 同 的 是 , 蚁 群 算法 通过 模拟 
蚂蚁 竟 食 的 过 程 ,是 一 种 天 然 的 解决 离散 组 合 优 化 问题 的 方法 ,在 解决 典型 组 合 优化 问 
题 , 如 旅行 商 问题 (TSP) ,车 辆 路 径 问题 (VRP) ,车 间作 业 调 度 问 题 (JSP) 时 具有 明显 的 
优越 性 。 目 前 针对 蚁 群 算法 在 数学 理论 、 算 法 改进 、 实 际 应 用 等 方面 的 研究 是 计算 智能 领 
域 的 热点 ,取得 了 一 定 的 进展 。 

本 章 将 从 ACO 算法 的 基本 原理 .研究 进展 .基本 流程 改进 版 本 、 参 数 设置 和 相关 应 
用 等 各 个 方面 进行 介绍 ,具体 包括 如 下 的 内 容 : 

。 蚁 群 优化 算法 的 基本 原理 ; 

。 蚁 群 优化 算法 的 研究 进展 ; 

。 蚁 群 优化 算法 的 基本 流程 ; 

。 蚁 群 优化 算法 的 改进 版 本 ; 

。 蚁 群 优化 算法 的 相关 应 用 ; 

。 疏 群 优化 算法 的 参数 设置 。 


5.1 蚁 群 优化 算法 简介 


5.1.1 基本 原理 


日 然 界 常常 是 人 类 创新 思想 的 源 困 。 上 自然 界 中 闪 含 的 内 在 规律 \ 生 物 的 作息 规则 往 
往 被 借鉴 ,并 诞生 新 的 学 科 。 许 多 这 种 在 自然 界 启示 下 诞生 的 新 学 科 新 方法 都 在 数学 基 
础 没有 被 完全 证 明 的 情况 下 ,通过 仿真 实验 验证 了 其 有 效 性 ,因为 神奇 的 生物 界 常常 可 以 
通过 日 号 的 演化 解决 许多 在 人 类 看 来 十 分 复杂 的 优化 问题 。 而 在 这 些 方法 被 验证 有 效 性 
后 ,科学 家 们 又 不 断 答 试 着 给 出 其 数学 理论 的 证 明 , 在 对 数学 理论 基础 探索 的 过 程 中 ,不 
论 是 这 些 思想 和 方法 本 号 ,还 是 日 然 界 生物 界 的 理论 ,都 会 不 断 地 发 展 和 完善 。 

蚁 群 优 化 算法 (Ant Colony Optimization, ACO) fH Dorigo 4 A“! F 1991 年 在 第 一 
届 欧 洲 人 工 生 命 会 议 (European Conference on Artificial Intelligence, ECAL) 上 提出 ,是 
模拟 自然 界 真实 蚂蚁 竟 食 过 程 的 一 种 随机 搜索 算法 。 蚁 群 算法 与 遗传 算法 (Genetic 
Algorithm,GA)、 粒子 群 优 化 算法 (Particle Swarm Optimization, PSO)、 人 免疫 算法 
(Immune Algorithm,IA) 等 同属 于 仿生 优化 算法 ,具有 和 鲁 棒 性 强 、 全 局 搜索 、 并 行 分 布 式 
计算 、 易 与 其 他 方法 结合 等 优点 ,在 典型 组 合 优化 问题 如 旅行 商 问 题 (Traveling Salesman 
Problem. TSP)°! | 44 412 i BW (Vehicle Routing Problem,VRP)' ”车 间作 业 调 度 问 
题 (Job-shop Scheduling Problem, JSP)'1!"" 和 动态 组 合 规划 问题 如 通信 和 领域 的 路 由 问 
RA] 中 均 得 到 了 成 功 的 应 用 。 

在 对 图 5. 1 所 示 的 蚂蚁 竟 食 过 程 的 观察 中 ,我 们 不 禁 要 提出 两 个 疑问 : (1) 蚂 蚊 没 有 
发 育 完 全 的 视觉 感知 系统 ,甚至 很 多 种 类 完全 没有 视觉 ,它们 在 寻找 食物 的 过 程 中 是 如 何 
选择 路 径 的 呢 ? 〈2) 蚂 蚊 往 往 像 军队 般 有 纪律 `\ 有 秩序 地 搬运 食物 ,它们 通过 什么 方式 进 
行 群体 间 的 交流 协作 呢 ? 仿生 学 家 经 过 长 期 的 试验 与 钱 究 告诉 我 们 问题 的 答案 : 无 论 是 
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图 5.1 蚂蚁 的 更 食 行为 


蚂蚁 与 蚂蚁 之 间 的 协作 还 是 蚂蚁 与 环境 之 间 的 交互 , 均 依 赖 于 一 种 化 学 物质 一 一 信息 素 
(pheromone) 。 蚂 尽 在 寻找 食物 的 过 程 中 往往 是 随机 选择 路 径 的 ,但 它们 能 感知 当前 地 
面 上 的 信息 素 浓度 ,并 倾 问 于 往 信 息 素 浓度 高 的 方向 行进 。 信 息 素 由 蚂蚁 自身 释放 ,是 实 
现 蚁 群 内 间接 通信 的 物质 。 由 于 较 短 路 径 上 蚂蚁 的 往返 时 间 比 较 短 ,单位 时 间 内 经 过 该 
路 径 的 蚂蚁 多 ,所 以 信息 素 的 积累 速度 比较 长 路 径 快 。 因 此 , 当 后 续 蚂 尽 在 路 口 时 ,就 能 
感知 先前 蚂蚁 留 下 的 信息 ,并 倾 回 于 选择 一 条 较 短 的 路 径 前 行 。 这 种 正 反 馈 机 制 使 得 越 
来 越 多 的 蚂 尽 在 巢穴 与 食物 之 间 的 最 短路 径 上 行进 。 由 于 其 他 路 径 上 的 信息 素 会 随 着 时 
间 蒸 发 ,最 终 所 有 的 蚂蚁 都 在 最 优 路 径 上 行进 。 蚂 蚁 群体 的 这 种 自 组 织 工 作 机 制 适应 环 
境 的 能 力 特别 强 ,假设 最 优 路 径 上 突然 出 现 障 碍 物 , 蚁 群 也 能 够 绕 行 并 且 很 快 重新 探索 出 
一 条 新 的 最 优 路 径 。 

图 5. 2 是 蚂蚁 通过 传递 信息 素 寻 找 食物 的 示意 图 。 蚂 蚁 1 正 处 于 一 个 路 口 , 它 将 根 
He A C IER” (局 发 式 信 息 ) 和 ”兄弟 们 的 气 上 县 ”信息 素 浓 度 ) 来 选择 前 进 的 路 线 。 选 择 是 
一 个 概率 随机 的 过 程 , 司 发 式 信 息 多 .信息 系 浓度 大 的 路 线 有 更 大 的 概率 被 选中 。 当 小 概 
率 事件 发 生 时 ,例如 蚂蚁 2 选择 了 一 条 非常 长 的 路 径 , 它 只 会 产生 很 少 的 信息 素 ( 并 且 信 
息 素 仍 在 不 断 蒸 发 ) ,使 得 后 面 的 蚂蚁 选择 这 条 路 的 概率 降低 甚至 不 再 选择 这 条 路 径 。 而 
当 某 只 蚂蚁 (蚂蚁 3) 发 现 了 一 条 当前 最 短 的 路 径 时 , 它 将 产生 最 多 的 信息 素 , 并 且 由 于 之 
后 的 蚂蚁 选择 这 条 路 径 的 概率 较 大 ,这 条 路 径 上 疏 过 的 蚂蚁 较 多 (蚂蚁 4 蚂蚁 5……) , 信 


2) 天 哪 ， 我 一 定 是 走 错 路 了 ， 
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(6) 我 自己 走 ， 说 不 定 能 探索 

出 下 一 条 更 短 的 路 径 呢 ， 
到 时 候 你 们 就 都 会 跟着 我 了 


图 5.2 蚁 群 根据 信息 素 竟 食 的 过 程 
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恩 泰 浓度 将 不 断 增 加 ,以 至 于 最 后 所 有 的 蚂蚁 部 在 这 条 路 上 行进 。 但 考虑 到 当前 最 短 的 
路 径 有 可 能 是 一 条 局 部 最 优 路 径 ,蚂蚁 6 的 探索 行为 也 是 必需 的 。 
通过 对 自然 界 蚁 群 竟 食 过 程 进行 抽象 建 模 ,我 们 可 以 对 蚁 群 竟 食 现象 和 蚁 群 优化 算 
法 中 的 各 个 要 素 建 立 一 一 对 应 关系 ,如 表 5. 1 所 示 。 
表 5.1 蚁 群 砚 食 现象 和 蚁 群 优 化 算法 的 基本 定义 对 照 表 


蚁 群 现 食 现象 蚁 群 优化 算法 
蚁 群 搜索 空间 的 一 组 有 效 解 (表现 为 种 群 规 模 zz) 
KB li] 问题 的 搜索 空间 (表现 为 问题 的 规模 、 解 的 维 数 n) 
信息 素 信息 素 浓 度 变 量 
蚁 巢 到 食物 的 一 条 路 径 一 个 有 效 解 
找到 的 最 短路 径 问题 的 最 优 解 


5.1.2 研究 进展 


第 一 个 ACO 算法 一 一 蚂蚁 系统 (Ant System, AS) 007) 是 以 NP 难 的 TSP 问题 作 
为 应 用 实例 而 提出 的 。AS 算法 初步 形成 的 时 候 虽 然 能 找到 问题 的 优化 结果 ,但 其 算法 
的 执行 效率 在 当时 并 不 优 于 其 他 传统 方法 ,因此 ACO 并 未 受到 国际 学 术 界 的 广泛 关注 。 
1992—1996 年 间 关 于 蚁 群 算法 的 研究 处 于 停 沾 状态 ,直到 1996 年 Dorigo 的 Ant system : 
optimization by a colony of cooperating agents 一 文 呈 正式 发 表 在 IEEE Transaction on 
System, Man, and Cybernetics。 这 篇 文章 详细 地 介绍 了 AS 的 基本 原理 和 算法 流程 ,并 
对 AS 的 三 个 版 本 : 蚂蚁 密 度 (antrdensity)、 93 WAS (ant-quantity) Al #3 Wl (ant-cycle) 
进行 了 性 能 比较 。 在 蚂蚁 密度 和 蚂蚁 数量 这 两 种 AS 版 本 中 , 蚂 尽 都 是 每 到 达 一 个 城市 
就 释放 信息 素 , 而 在 蚂蚁 圈 中 ,蚂蚁 是 在 构建 了 一 条 完整 的 路 径 之 后 再 根据 路 径 的 长 短信 
息 来 释放 信息 素 。 现 在 一 般 我 们 所 讲 的 AS 就 是 蚂蚁 圈 , 另 外 两 者 由 于 性 能 不 佳 已 经 被 
淘汰 。Dorigo 还 在 该 文中 将 算法 的 应 用 领域 由 旅行 商 问题 延伸 到 指派 问题 和 车 间作 业 
调度 问题 ,并 将 AS 的 性 能 与 仆 山 法 模拟 退火 .禁忌 搜索 .遗传 算法 等 进行 了 仿真 实验 比 
较 , 发 现在 大 多 数 情况 下 ,AS 的 寻 优 能 力 都 是 最 优 的 。 这 是 蚊 群 优化 算法 发 展 历 史上 的 
一 个 里 程 碑 ,此 后 ACO 在 国际 上 受到 了 越 来 越 多 的 关注 。 

AS 是 蚁 群 算法 的 和 骏 形 , 它 的 出 现 为 各 种 改进 算法 的 提出 提供 了 有 灵感。 之 后 诞生 了 
许多 改进 的 ACO 算法 ,如 表 5.2 所 示 。 这 些 典 型 的 ACO 算法 包括 精华 蚂 蚊 系统 (Elitist 
AS,EAS)°" 最 大 最 小 蚂蚁 系统 (MAX-MIN AS, MMAS)"8?°) 、 基 于 排列 的 蚂蚁 系统 
(rank-based AS, ASyank OU 等 ,它们 大 多 是 在 AS 上 直接 进行 改进 。 通 过 修正 信息 素 的 更 
新 方式 和 增添 信息 素 维护 过 程 中 的 额外 细节 ,ACO 算法 的 性 能 得 到 了 提高 。1997 年 ， 
ACO 的 创始 人 Dorigo 在 IEEE Transactions on Evolutionary Computation 发 表 Ant 
colony system: A cooperative learning approach to the traveling salesman problem 一 
SC ,提出 了 一 种 大 幅度 改动 AS 特征 的 算法 一 一 蚁 群 系统 (Ant Colony System, ACS), 
实验 结果 表明 ACS 的 算法 性 能 明显 优 于 AS, ACS 是 蚁 群 优化 算法 发 展 史 上 的 又 一 里 程 
碑 。 之 后 蚁 群 算法 继续 发 展 ,新 拓展 算法 不 断 出 现 , 例 如 采用 下 限 技术 的 ANTS $F 


Om MERA 


法 J 超 立方 体 框架 AS 算法 人 中等。 传统 的 ACO 算法 是 解决 离散 空间 的 组 合 优化 
问题 的 ,到 了 21 世纪 ,各 种 连续 蚁 群 算法 中 的 出 现 , 进 一 步 扩 展 了 收 群 算法 的 应 用 
表 5.2 典型 的 ACO 算法 


蚂蚁 系统 (AS) 1991/1996 Dorigo 第 一 个 ACO 算法 
精华 AS(EAS) 1991 Dorigo 

Ant-Q 1995 Gambardella 

最 大 最 小 AS(MMAS) 1996 Stiitzle 

基于 排列 的 AS(AS,ni) 1997 Bullnheimer 

蚁 群 系统 (ACS) 1997 Dorigo 

ANTS 1999 Maniezzo 

连续 蚁 群 (CACO) 2000 Mathur 优化 连续 空间 问题 
最 优 最 差 ASCBWAS) 2000 Cordon 

超 立 方 体 ASCHC-ACO) 2001 Blum 

正 交 连 续 蚁 群 (COAC) 2008 优化 连续 空间 问题 


伪 并 行 蚁 群 (PACO) 2008 


5.2 WE RADA TE 


前 面 已 经 提 到 ,蚂蚁 系统 是 以 TSP 作为 应 用 实例 提出 的 ,虽然 它 的 算法 性 能 不 及 之 
后 的 各 种 扩展 算法 如 MMAS、ACS 等 优秀 ,但 它 是 最 基本 的 ACO 算法 ,比较 易于 学 习 和 
掌握 。 本 节 将 以 蚂蚁 系统 求解 TSP 问题 的 基本 流程 为 例 来 描述 蚁 群 优 化 算法 的 工作 机 
制 ,各 种 扩展 算法 将 在 下 一 节 中 介绍 。 


5.2.1 基本 流程 


AS 算法 对 TSP 的 求解 流程 主要 有 两 大 步骤 : 路 径 构建 和 信息 素 更 新 。 

已 知 守 个 城市 的 集合 C= {ers cos tts Cn} ,任意 两 个 城市 之 间 均 有 路 径 连 接 ,d; (i， 
j 王 1,2,… ,7n) 表 示 城 市 i 与 7 之 间 的 距离 , 它 是 已 知 的 (或 者 城市 的 坐标 集合 为 已 知 ,d; 
即 为 城市 i 与 7 之 间 的 欧 几 里 德 距 离 )。 如 在 第 1 草 中 定义 的 一 样 ,TSP 的 目的 是 找到 从 
某 个 城市 c; 出 发 ,访问 所 有 城市 且 只 访问 一 次 ,最 后 回 到 cc; 的 最 短 封 闭路 线 。 

1. 路 径 构 建 

每 只 蚂蚁 都 随机 选择 一 个 城市 作为 其 出 发 城市 ,并 维护 一 个 路 径 记 忆 回 量 , 用 来 存放 
该 蚂蚁 依次 经 过 的 城市 。 蚂 蚁 在 构建 路 径 的 每 一 步 中 ,按照 一 个 随机 比例 规则 选择 下 一 
个 要 到 达 的 城市 。 

定义 5.1 AS 中 的 随机 比例 规则 (random proportional): 对 于 每 只 蚂蚁 有 & ,路径 记忆 
回 量 R* 按照 访问 顺序 记录 了 所 有 已 经 经 过 的 城市 序号 。 设 蚂蚁 当前 所 在 城市 为 i， 
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则 其 选择 城市 7 作为 下 一 个 访问 对 象 的 概率 为 : 
Lej) #LyG.j) } JEL 


A s: . g’ 
pr (i,j) = Pra Lyi] er 


0, 其 他 

其 中 ,J (让 表示 从 城市 i 可 以 直接 到 达 的 且 又 不 在 蚂蚁 访问 过 的 城市 序列 R* 中 的 城市 
集合 。n(i, 7) 是 一 个 启发 式 信息 ,通常 由 7 (i, j)= 二 1/d; 直接 计算 。r(i, j) 表 示 边 (i, j) 
上 的 信息 素 量 。 由 公式 (5.1) 我 们 知道 ,长 度 越 短 、 信 息 素 浓度 越 大 的 路 径 被 蚂蚁 选择 的 
ERRAK. a 和 8 是 两 个 预先 设置 的 参数 ,用 来 控制 司 发 式 信息 与 信息 又 浓 度 作 用 的 权 
重 关 系 。 当 a 二 0 时 ,算法 演变 成 传统 的 随机 贪 禁 算法 ,最 邻近 城市 被 选中 的 概率 最 大 。 
当 B=0 时 ,蚂蚁 完全 只 根据 信息 素 浓度 确定 路 径 ,算法 将 快速 收敛 ,这样 构建 出 的 最 优 路 
径 往 往 与 实际 目标 有 着 较 大 的 差异 ,算法 的 性 能 比较 糟糕 。 实 验 表明 ,在 AS 中 设置 
a=1,8B=2~5 比较 合适 。 

2. 信息 素 更 新 

在 算法 初始 化 时 ,问题 空间 中 所 有 的 边 上 的 信息 素 都 被 初始 化 为 WE rm KY, 
算法 容易 早熟 , 即 蚂蚁 很 快 就 全 部 集中 在 一 条 局 部 最 优 的 路 径 上 。 反 之 ,如 有 果 ro 太 大 , 信 
息 素 对 搜索 方向 的 指导 作用 太 低 ,也 会 影响 算法 性 能 。 对 AS 来 说 ,我 们 使 用 
to =m/C™ ,m 是 蚂蚁 的 个 数 ,C" 是 由 贪 禁 算 法 构造 的 路 径 的 长 度 。 

当 所 有 蚂蚁 构建 完 路 径 后 ,算法 将 会 对 所 有 的 路 径 进 行 全 局 信息 素 的 更 新 。 注 意 ,我 
们 所 描述 的 是 AS 的 ant-cycle 版 本 ,更 新 是 在 全 部 蚂蚁 均 完 成 了 路 径 的 构造 后 才 进 行 的 ， 
信息 素 的 浓度 变化 与 蚂蚁 在 这 一 轮 中 构建 的 路 径 长 度 相 关 , 实 验 表 明 ant-cycle 比 ant- 
density 和 ant-quantity 的 性 能 要 好 很 多 。 

fA BA IN rt AP SOR: 首先 ,每 一 轮 过 后 ,问题 空间 中 的 所 有 路 径 上 的 信息 素 
都 会 发 生 蒸发 ,我们 为 所 有 边 上 的 信息 素 乘 上 一 个 小 于 1 的 常数 。 信 息 素 蒸发 是 自然 界 
本 喘 固 有 的 特征 ,在 算法 中 能 够 帮助 避免 信息 素 的 无 限 积累 ,使 得 算法 可 以 快速 丢弃 之 前 
构建 过 的 较 差 的 路 径 。 随 后 所 有 的 蚂蚁 根据 自己 构建 的 路 径 长 度 在 它们 本 轮 经 过 的 边 上 
释放 信息 素 。 蚂 蚁 构建 的 路 径 越 短 .释放 的 信息 素 就 越 多 ;一 条 边 被 蚂蚁 爬 过 的 次 数 越 
多 、 它 所 获得 的 信息 素 也 越 多 。AS 中 城市 i 与 城市 7 的 相连 边 上 的 信息 素 量 eG.) FEM 
下 公式 进行 更 新 : 


tlij) = (1—p) ri,)) + >) An sj) 
k=1 


(CH) Gj) € R* (5.2) 


0, 其 他 
这 里 ,m 是 蚂蚁 个 数 ;o 是 信息 素 的 蒸发 率 ,规定 0 二 po 三 1, 在 AS 中 通常 设置 为 p=0.5. 
Azt.(i,)) 是 第 有 只 蚂蚁 在 它 经 过 的 边 上 释放 的 信息 素 量 , 它 等 于 蚂蚁 本 轮 构 建 路 径 长 
度 的 倒数 。C 表示 路 径 长 度 , 它 是 R 中 所 有 边 的 长 度 和 。 

AS 求解 TSP 的 流程 图 和 伪 代 码 如 图 5. 3 所 示 。 


At, (1,7) = | 


POS MAUR 


// 功 能 : 蚂蚁 系统 伪 代 码 
// 说 明 : 本 例 以 求解 TSP 问题 为 目标 


初始 化 每 条 边 上 的 信息 素 量 Y // 参 数 : N 为 城市 规模 
否 


procedure AS 


Feces RAD 
对 每 只 蚂蚁 ， 随 机 选择 一 个 
出 发 城市 while not stop 


for each edge 


set initial pheromone value To. 


for each ant k 


randomly choose an initial city. 


for i= lton 
choose next city j with the probability 
given by Eq. (5.1). 
end for 
end for 
compute the length G of the tour constructed 
by the kth ant. 


EF set 


是 
对 每 只 蚂蚁 根据 启发 式 信息 和 信 
因素 浓度 选择 下 一 个 访问 城市 


for each edge 
update the pheromone value by Eq. (5.2). 


end f 
iL a Fea ENR ZK = 
度 ， 更 新 每 条 边 上 的 信息 素 量 end while 
print result. 
end procedure 


5.3 AS 求解 TSP 的 流程 图 和 伪 代 码 


最 后 ,我 们 讨论 一 下 路 径 的 两 种 构建 方式 : 顺序 构建 和 并 行 构建 。 顺 序 构建 是 指 当 
一 只 蚂蚁 完成 一 轮 完整 的 构建 并 返回 到 初始 城市 之 后 ,下 一 只 蚂蚁 才 开 始 构 建 ; 并 行 构建 
是 指 所 有 蚂蚁 同时 开始 构建 ,每 次 所 有 蚂蚁 各 走 一 步 (从 当前 城市 移动 到 下 一 个 城市 )。 
两 种 构建 方式 对 AS 算法 来 说 是 等 价 的 ,但 对 于 之 后 的 一 些 改进 ACO 算法 就 不 等 价 了 。 
请 读者 思考 ,图 5.3 所 示 AS 流程 使 用 的 是 哪 种 构建 方式 呢 ? 


5.2.2 应 用 举例 


下 面 通 过 一 个 简单 的 TSP 的 例子 ,说 明 蚁 群 优化 算法 的 执行 过 程 。 
例 5.1 给 出 用 蚁 群 算法 求解 一 个 四 城市 的 TSP 问题 的 执行 步骤 ,四 个 城市 A,B, 
C.D 之 间 的 距离 矩阵 如 下 : 


3 
9 


mew g 
, NAD 


l 
5 
4 2 
假设 蚂蚁 种 群 的 规模 om = 3. BM a=1.8=2.0=0.5. 
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解 : 使 用 蚂蚁 系统 求解 例 5. 1 的 执行 步骤 如 图 5.4 所 示 。 


步骤 : 急 始 化 。 首 先 使 用 售 梦 算法 得 到 路 径 
(ACDBA), M] C™ = f{(ACDBA) =1+2+4+3=10 。 
求 得 ty-m/C"-3/10-0.3 。 初 始 化 所 有 边 上 的 
信息 素 TAT & 


步骤 2.1 : 为 每 只 紧 蚁 随机 选择 出 发 城市 ， 
假设 蚂蚁 1 选择 城市 4， 蚂蚁 2 选择 城市 
B, WHI 3 选择 城市 D 。 


UR 2.2: 为 每 只 曲 蚁 选择 下 一 访问 城市 。 
我 们 仅 以 蚂蚁 1 为 例 ， 当 前 城市 去 4, 可 访 
问 城市 集合 J @=1B.C, D} > 计算 蚂蚁 1 选 
择 B,C, D 作为 下 一 访问 城市 的 概率 : 
Bt 4X Ty = 0.3' X (1/3°=0.033 
A> Ep n= 0.3! (P03 


Dae n= 0.3! X (1/2)°=0.075 


p(B) = 0.033/(0.033+0.3+0.075) = 0.081 
p(C) = 0.3/(0.033+0.3+0.075) = 0.74 
p(D) =0.075/(0.033+0.3+0.075) = 0.18 
用 轮 盘 赌 法 则 选择 下 一 访问 城市 。 假 设 
产生 的 随机 数 gq=random(0,1)=0.05, 则 蚂蚁 1 
将 会 选择 城市 8 。 
用 同样 的 方法 为 蚂蚁 2 和 3 选择 下 一 访问 
城市 ， 假 设 蚂 蚁 2 选择 城市 已 ， 蚂 蚁 3 选择 
城市 4 。 


步骤 2.3 : 当前 蚂蚁 1 所 在 城市 AB, 路 径 记 忆 向 量 
R'=(4B), 可 访问 城市 集合 JOC, D 。 计算 蚂蚁 1 
ez C, DD 作为 下 一 起 市 的 概率 ， 
ps pak ans ne -= 0.3! x (1/5) = 0.012 
D:7 Sp X n p= 0.3! X (1/4)? = 0.019 
p(C) = 0.012(0.012+0.019) = 0.39 
p (D) = 0.019/(0.012+0.019) = 0.61 
HSC TRAY UPR b — DATA TTT fe Bere BEAL 
数 g=random(0,1)=0.67, 则 蚂蚁 1 将 会 选择 城市 D 。 
用 同样 的 方法 为 蚂蚁 2 和 3 选择 下 一 访问 城市 , 假 
设 蚂蚁 2 选择 城市 C， 蚂 蚁 3 选择 城市 D 。 


步 对 2.4 : 实际 上 此 时 路 径 已 经 构造 完毕 ， 蚂 蚁 1 构建 
的 路 径 为 (48DC4) 。 蚂 由 2 构建 的 路 径 为 (BDCAB) 。 
蚂蚁 3 构建 的 路 径 为 (D4CBD) 。 


WR 3: 信息 素 更 新 。 

计算 每 只 蚂蚁 构建 的 路 径 长 度 : Ci=3+4+2+1=10， 
C=4+2+1+3=10, C;=2+1+5+4=12 。 更 新 每 条 边 上 的 
信息 素 : 


3 
Tp= (1-p)X Tst X, Atk, = 0.5 X0.3+(1/10+1/10) = 0.35 
kzl 
ric=(1-p)XTic+ 2 Att- = 0.5 X 0.3+ (1/12)=0.16 
t-l 


如 上 ， 根 据 公式 (5.2) 依次 计算 出 问题 空间 内 所 有 边 更 
新 后 的 信息 素 量 。 


步骤 4: 


如 果 满 足 结束 条 件 ， 则 输出 全 局 最 优 结 来 并 结束 程序 ， 否 则 ， 转 同步 又 2.1 继 续 执行 。 


5.4 使 用 蚂蚁 系统 求解 例 5.1 的 步骤 图 示 


5.3 蚁 群 优化 算法 的 改进 版 本 


在 前 面 的 草 节 中 我 们 已 经 提 到 ,蚂蚁 系统 只 是 蚁 群 算法 的 一 个 最 初 的 版 本 , 它 的 性 能 
有 待 提 高 。 在 AS 诞生 后 的 十 多 年 中 , 蚊 群 算法 持续 被 改进 ,算法 性 能 不 断 提高 ,应 用 领 
域 不 断 扩 张 。 各 种 改进 版 本 的 ACO 算法 有 痢 各 目的 特点 ,本 节 中 我 们 将 介绍 其 中 最 为 
经 由 的 几 个 ,包括 精华 蚂蚁 系统 (Elitist Ant System. EAS) 基于 排列 的 蚂蚁 系统 (rank- 
based Ant System, AS yank) , 最 大 最 小 蚂蚁 系统 (MAX-MIN Ant System, MMAS) LA RK W 
群 系统 (Ant Colony System,ACS) 。 它 们 基本 都 在 20 世纪 90 年 代 提 出 ,虽然 算法 性 能 
在 现在 看 来 不 一 定 是 最 优 的 ,但 这 些 算法 的 思想 是 全 世界 学 者 们 源源 不 断 的 灵感 的 源 果 。 
掌握 这 些 算 法 ,有 助 于 我 们 对 蚁 群 优化 算法 本 和 号 产生 更 深刻 的 理解 。 


第 5 章 “ 蚁 群 优 化 算法 


5.3.1 精华 蚂蚁 系统 


我 们 回忆 AS 算法 ,蚂蚁 在 其 息 过 的 边 上 释放 与 其 构建 路 径 长 度 成 反比 的 信息 素 量 ， 
蚂蚁 构建 的 路 径 越 好 ,属于 路 径 的 各 个 边 上 所 获得 的 信息 素 就 越 多 ,这 些 边 在 以 后 的 迭代 
中 被 蚂蚁 选择 的 概率 也 就 越 大 。 但 我 们 不 难 想象 , 当 城市 的 规模 较 大 时 ,问题 的 复杂 度 呈 
指数 级 增长 ,仅仅 靠 这 样 一 个 基础 单一 的 信息 素 更 新 机 制 引 导 搜 索 偏 向 ,搜索 效率 有 瓶 
贷 。 我 们 能 否 通 过 一 种 “额外 的 手段 ”强化 某 些 最 有 可 能 成 为 最 优 路 径 的 边 ,让 蚂蚁 搜索 
的 范围 更 快 、 更 正确 地 收敛 呢 ? 

答案 是 肯定 的 ,精华 蚂蚁 系统 (Elitist Ant System,EAS) 是 对 基础 AS 的 第 一 次 改 
进 , 它 在 原 AS 信息 素 更 新 原则 的 基础 上 增加 了 一 个 对 至 今 最 优 路 径 的 强化 手段 。 在 每 
轮 信息 素 更 新 完毕 后 ,搜索 到 至 今 最 优 路 径 ( 我 们 用 T 表示 ) 的 那 只 蚂蚁 将 会 为 这 条 路 
径 添加 额外 的 信息 素 。EAS 中 城市 i 与 城市 7 的 相连 边 上 的 信息 系 量 5(i,j) 的 更 新 按 如 
下 公式 进行 : 


r(isj) = (1—p)  rli,j) + > Au G.j) + eA, (ij) 
k=] 


ay [C GER 
E ， — 
k\1»] lo 其 他 (5.3) 
R I s (757) 在 路 径 T, E 
At (is) — 
0, 其 他 


除了 式 (5.2) 中 的 各 个 符号 定义 ,在 EAS 中 ,新 增 了 A (i,j), 并 定义 参数 e 作为 A, (i,j) 
的 权 值 。C 是 算法 开始 至 今 最 优 路 径 的 长 度 。 可 见 ,EAS 在 每 轮 迭 代 中 为 属于 T 的 边 
增加 了 额外 的 e/C 的 信息 素 量 。 

引入 这 种 额外 的 信息 素 强 化 手段 有 助 于 更 好 地 引导 蚂蚁 搜索 的 偏 问 ， o 
M. Dorigo 等 人 对 EAS 求解 TSP 问题 进行 了 实验 仿真 2” ,结果 表明 在 一 个 合适 的 参数 
e 值 作用 下 (一 般 设 置 e 等 于 城市 规模 n) ,EAS 有 着 较 AS 更 高 aa 进化 
速度 。 


53.2 基于 排列 的 蚂蚁 系统 


人 们 的 思想 总 是 与 时 俱 进 的 ,在 精华 蚂蚁 系统 被 提出 后 ,我 们 又 会 思考 ,有 没有 更 好 
的 一 种 信息 素 更 新 方式， E EEI T, 各 边 的 信息 素 浓度 得 到 加 强 , 且 对 其 余 边 的 信息 
素 更 新 机 制 亦 有 改善 ? 

基于 排列 的 蚂蚁 系统 (rank-based Ant System, ASvank ) 就 是 这 样 一 种 改进 版 本 , 它 在 
AS 的 基础 上 给 蚂蚁 要 释放 的 信息 素 大 小 Ar (i,7) 加 上 一 个 权 值 ,进一步 加 大 各 边 信 息 
素 量 的 差异 ,以 指导 搜索 。 在 每 一 轮 所 有 蚂蚁 构建 完 路 径 后 ,它们 将 按照 所 得 路 径 的 长 短 
进行 排名 ,只 有 生成 了 至 今 最 优 路 径 的 蚂蚁 和 排名 在 前 (w 一 1) 的 蚂蚁 才 被 允许 释放 信息 
Fe MGI EG. j) 上 释放 的 信息 素 Az(i, 站 的 权 值 由 蚂蚁 的 排名 决定 。ASrm 中 的 信息 
素 更 新 规则 如 公式 (5.4) 所 示 : 
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wl 
tlij) = (1—p) ris) + >) (w— hk) AN (ij) + 0d, Cis j) 


k=1 


—— (C,)7, (ij) € R* 
Catt} = 一 
k\19] » 其 他 (5.4) 
Ea (C), Gij) 在 路 径 T 上 
Ar (1,7) = 
0, 其 他 


构建 至 今 最 优 路 径 T 的 蚂蚁 (该 路 径 不 一 定 出 现在 当前 迭代 的 路 径 中 ,各 种 蚁 群 算 
法 均 假 设 蚂 蚁 有 记忆 功能 ,至 今 最 优 的 路 径 总 是 能 被 记 住 ) 产 生 信 息 素 的 权 值 大 小 为 w, 
CHE T 的 各 边 上 增加 w/C 的 信息 素 量 ,也 就 是 说 ,路 径 T, 将 获得 最 多 的 信息 素 量 。 
其 余 的 ,在 本 次 迭代 中 排名 第 kk 二 1,2,…,w 一 1) 的 蚂蚁 将 释放 (w 一 &)/C 的 信息 素 。 
排名 越前 的 蚂蚁 释放 的 信息 素 量 越 大 , 权 值 Co 一 &) 对 不 同 路 径 的 信息 素 浓度 差异 起 到 了 
一 个 放大 的 作用 ,ASss 能 更 有 力度 地 指导 蚂蚁 搜索 。 一 般 设置 w 王 6。 

以 往 的 实验 结果 5 表明 AS a AD BE AS 以 及 EAS 更 高 的 寻 优 能 力 和 更 快 的 求解 
速度 。 


5.3.3 最 大 最 小 蚂蚁 系统 


在 介绍 最 大 最 小 蚂蚁 系统 之 前 ,我 们 先 思考 几 个 问题 : 

问题 一 : 对 于 大 规模 的 TSP, 由 于 搜索 蚂蚁 的 个 数 有 限 ,而 初始 化 时 蚂蚁 的 分 布 是 随 
机 的 ,这 会 不 会 造成 蚂蚁 只 搜索 了 所 有 路 径 中 的 小 部 分 就 以 为 找到 了 最 好 的 路 径 , 所 有 的 
蚂蚁 都 很 快 聚集 在 同一 路 径 上 ,而 真正 优秀 的 路 径 并 没有 被 探索 到 呢 ? 

问题 二 : 当 所 有 蚂蚁 都 重复 构建 着 同一 条 路 径 的 时 候 , 意 味 着 算法 已 经 进入 停滞 状 
态 。 此 时 ,不论 是 基本 AS、EAS 还 是 AS ,之 后 的 迭代 过 程 都 不 再 可 能 有 更 优 的 路 径 出 
现 。 这 些 算法 收敛 的 效果 虽然 是 “单纯 而 快速 的 ”, 但 我 们 都 懂得 “ 欲 速 则 不 达 ” 的 道理 ,我 
们 有 没有 办 法 利用 算法 停滞 后 的 迭代 过 程 进 一 步 搜 索 以 保证 找到 更 接近 真实 目标 的 
解 呢 ? 

为 了 解决 上 面 的 两 个 问题 ,最 大 最 小 蚂蚁 系统 (MAX-MIN Ant System,MMAS) 在 
基本 AS 算法 的 基础 上 进行 了 下 列 四 项 改进 。 

(1) 只 允许 迭代 最 优 蚂 蚁 (在 本 次 迭代 构建 出 最 短路 径 的 蚂蚁 ) ,或 者 至 今 最 优 蚂蚁 
释放 信息 素 。 

(2) 信息 素 量 大 小 的 取 值 范围 被 限制 在 一 个 区 间 内 。 

(3) 信息 素 初始 值 为 信息 素 取 值 区 间 的 上 限 ,并 伴随 一 个 较 小 的 信息 素 蒸 发 速率 。 

(4) 每 当 系统 进入 停滞 状态 ,问题 空间 内 所 有 边 上 的 信息 素 量 都 会 被 重新 初始 化 。 

下 面 我 们 介绍 这 四 项 改进 带 来 的 优势 。 

改进 (1) 借 鉴于 精华 蚂蚁 系统 ,但 又 有 细微 的 不 同 。 在 EAS 中 ,只 允许 至 今 最 优 的 蚂 
下 释放 信息 素 ,而 在 MMAS 中 ,释放 信息 素 的 不 仅 有 可 能 是 至 今 最 优 蚂 蚁 ,还 有 可 能 是 
和 迭代 最 优 蚂蚁 。 实 际 上 ,和 迭代 最 优 更 新 规则 和 至 今 最 优 更 新 规则 在 MMAS 中 会 被 交替 
使 用 。 这 两 种 规则 使 用 的 相对 频率 将 会 影 啊 算法 的 搜索 效果 。 如 有 果 只 使 用 至 今 最 优 更 新 
规则 进行 信息 素 的 更 新 ,搜索 的 导 癌 性 很 强 , 算 法 会 很 快 收敛 到 OT, 附近 ;反之 ,如 果 只 使 


POS MAUR 


FET Bae CE Er RLY , 则 算法 的 探索 能 力 会 得 到 增强 ,但 收敛 速度 会 下 降 。 实 验 结果 表 
BHC ,对 于 小 规模 的 TSP 问题 ,仅仅 使 用 迭代 最 优 信息 素 更 新 方式 即 可 。 随 着 问题 规模 
的 增 大 ,至 今 最 优 信 息 素 规则 的 使 用 变 得 越 来 越 重 要 。 一 种 好 的 方式 是 ,在 算法 迭代 过 程 
中 ,逐渐 加 大 至 今 最 优 更 新 的 概率 。 需 要 指出 的 是 ,计算 智能 领域 的 各 个 算法 大 多 是 不 确 
定 搜索 ,我 们 不 能 完全 通过 理论 的 分 析 就 判断 出 一 种 方法 好 还 是 不 好 ,不 论 是 对 遗传 算 
法 、 蚁 群 优化 算法 还 是 下 一 章 将 要 介绍 的 粒子 群 优化 算法 的 研究 与 改进 ,往往 都 是 一 
“理论 猜想 一 实验 探索 一 理论 分 析 总 结 ? 的 过 程 。 

在 MMAS 中 ,为 了 避免 某 些 边 上 的 信息 系 浓 度 增长 过 快 ,算法 出 现 早熟 现象 , 即 所 
有 的 蚂蚁 都 搜索 一 条 较 优 而 不 是 最 优 的 路 径 ,提出 了 改进 (2)。 信 息 素 量 的 大 小 被 限定 在 
一 个 取 值 范围 Lzwis Tma 内。 我 们 知道 ,蚂蚁 是 依据 启发 式 信息 和 信息 素 浓 度 选择 下 城市 
节点 的 ,其 中 启发 式 信息 为 蚂蚁 当前 所 在 城市 i 到 下 一 可 能 城市 7 的 距离 的 ds 的 倒数 ,由 
于 各 个 dg 的 大 小 是 事先 给 定 的 , 取 值 范围 已 经 确定 ,所 以 当 信 息 素 浓度 也 被 限制 在 一 
范围 内 以 后 ,位 于 城市 i 的 蚂蚁 & 选择 城市 7 作为 下 一 城市 的 概率 pi(i,7) 也 将 被 限制 在 
一 个 区 间 内 。 我 们 假设 这 个 区 间 为 Lprin ,pmax ,关于 prin 和 pmax 的 值 有 兴趣 的 读者 可 以 日 
行 求解 ,我 们 在 这 里 仅仅 确定 有 O< Pin S Pe Gj) SP max 1s 4 AM 49K RRIF — 
以 选择 的 城市 时 才 会 有 pws 二 pmax 二 1。 实 际 上 ,我 们 无 需 计 算 pss 和 pw 的 值 的 大 小 ,只 
要 知道 O< pmi SPa Cj) S Pma S1 就 可 以 确定 算法 已 经 有 效 避 免 了 陷入 停滞 状态 的 可 
能 性 。 

由 改进 (3) 我 们 知道 ,算法 在 初始 化 阶段 ,问题 空间 内 所 有 边 上 的 信息 素 均 被 初始 化 
为 rwx 的 估计 值 , 且 信息 素 蒸发 速率 非常 小 (在 MMAS 中 ,一般 将 o 置 为 0.02), 这 样 一 
来 ,不 同 边 上 的 信息 素 浓度 差异 只 会 缓慢 地 增加 ,因此 在 算法 的 初始 化 阶段 ,MMAS 有 着 
较 基本 AS、EAS 和 ASwm 更 强 的 探索 能 力 。 增 强 算法 在 初始 阶段 的 探索 能 力 有 助 于 蚂蚁 
“视野 开阔 地 ”进行 全 局 范围 内 的 搜索 ,随后 再 逐渐 缩小 搜索 范围 ,最 后 定格 在 一 条 全 局 最 
REE. 

改进 (2) 和 (3) 为 我 们 解决 了 本 小 节 开 头 提 出 的 问题 一 ,下 面 我 们 讨论 问题 二 的 解决 
方式 : 改进 (4)。 之 前 的 蚁 群 算法 ,不 论 是 AS, EAS 还 是 AS. , 均 属 于 “一 次 性 探索 ”, 即 
随 着 算法 的 执行 , 某 些 边 的 信息 素 量 变 得 越 来 越 小 , 某 些 路 径 被 选择 的 概率 也 越 来 越 小 ， 
系统 的 探索 范围 不 断 减 小 直至 陷 人 停 清 状态 。 在 MMAS 中 , 当 算 法 接近 或 是 进入 停 清 
状态 时 ,问题 空间 内 所 有 边 上 的 信息 又 浓度 都 将 被 重新 初始 化 ,从 而 有 效 地 利用 系统 进入 
停 沾 状态 后 的 迭代 周期 继续 进行 搜索 ,使 算法 具有 更 强 的 全 局 寻 优 能 力 。 我 们 通常 通过 
对 各 条 边 上 信息 素 量 大 小 的 统计 或 观察 算法 在 指定 次 数 的 迭代 内 至 今 最 优 路 人 径 有 无 被 更 
新 来 判断 算法 是 否 停滞 。 

在 本 小 节 的 最 后 ,我们 指出 ,最 大 最 小 蚂蚁 系统 具有 和 较 之 前 各 种 版 本 的 蚂蚁 系统 更 好 
的 性 能 ,是 最 受 关注 的 ACO 算法 之 一 , 它 对 基本 AS 算法 引入 的 四 项 改进 规则 或 思想 常 
常 被 后 续 的 各 种 ACO 算法 借鉴 。 


534 蚁 群 系统 
前 面 我 们 已 经 介绍 了 三 种 改进 版 本 的 AS 算法 : 精华 蚂蚁 系统 、 基 于 排列 的 蚂蚁 系 
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计算 智能 
统 和 最 大 最 小 蚂蚁 系统 ,它们 均 是 对 基本 蚂 凡 系统 的 信息 素 更 新 规则 做 了 少量 的 修改 而 


获得 了 更 好 的 性 能 。1997 F, 蚁 群 算法 的 创始 人 Dorigo 在 Ant colony system: a 
cooperative learning approach to the traveling salesman problem 一 文 ! 中 提出 了 一 种 
具有 全 新 机 制 的 ACO 算法 一 一 蚁 群 系统 (Ant Colony System, ACS), 进 一 步 提 高 了 
ACO 算法 的 性 能 。ACS 是 蚁 群 算法 发 展 史 上 的 又 一 里 程 碑 式 的 作品 ,我 们 在 这 一 小 节 
详细 介绍 蚊 群 系统 的 工作 流程 。 

ACS 与 蚂蚁 系统 的 不 同 主 要 体现 在 三 个 方面 : (1) 使 用 一 种 伪 随 机 比例 规则 
(pseudorandom proportional) 选 择 下 一 城市 节点 , 建 
立 开 发 当前 路 径 与 探索 新 路 人 径 之 间 的 平衡 (2) 信 息 
素 全 局 更 新 规则 只 在 属于 至 今 最 优 路 径 的 边 上 蒸发 
和 释放 信息 素 。(3) 新 增 信 息 素 局 部 更 新 规则 , 蚂 必 
每 次 经 过 空间 内 的 某 条 边 , 它 都 会 去 除 该 边 上 一 定 
量 的 信息 素 , 以 增加 后 续 蚂 蚁 探索 其 余 路 笃 的 可 
能 性 。 对 每 只 蚂蚁 ， 随 机 选择 一 个 

一 般 来 说 ,ACS 是 这 样 工 作 的 : 将 m 只 蚂蚁 随 
机 或 是 均匀 地 分 布 在 n 个 城市 上 ,然后 每 只 蚂蚁 根 
据 状 态 转移 规则 确定 下 一 步 要 去 的 城市 。 蚂 天 倾 回 
于 选择 信息 素 浓 度 高 且 距 离 短 的 路 径 。 蚂 蚁 被 设 定 
为 是 有 记忆 的 ,每 只 蚂蚁 都 配 有 一 张 搜索 禁忌 表 , 在 
每 轮 的 遍历 中 ,它们 不 会 去 到 目 己 已 经 经 过 的 城市 ， 
且 单 个 蚂蚁 在 遍历 过 程 中 会 在 它们 经 过 的 路 径 上 进 
行 信息 素 局 部 更 新 。 在 每 轮 所 有 的 蚂 尽 均 完 成 汉 密 
尔 顿 回 路 的 构造 后 , 需 记 录 下 这 些 回 路 中 最 短 的 一 
条 ,并 按照 信息 素 全 局 更 新 规则 增加 这 条 路 径 上 的 
信息 素 。 此 后 算法 反复 迭代 直至 满足 终止 条 件 。 Sa 
图 5.5 是 ACS 求 解 旅行 商 问 题 的 流程 图 ,如 遗传 算 
法 中 有 选择 .交叉 和 变异 三 大 基本 算 子 一 样 ,ACS 中 
有 状态 转移 规则 、 信 息 素 全 局 更 新 规则 和 信息 素 局 
部 更 新 规则 三 大 核心 规则 , 接 下 来 我 们 将 一 一 介绍 。 

1. 状态 转移 规则 

在 ACS 中 ,位 于 某 个 城市 i 的 某 蚂蚁 & 会 根据 定义 5.2 所 示 的 伪 随 机 比例 规则 选择 
下 一 个 城市 节点 jo 

定义 5.2 ACS 中 的 伪 随 机 比例 规则 (pseudorandom proportional); 对 于 每 只 蚂蚁 
& ,路 径 记 忆 回 量 R* 按照 访问 顺序 记录 了 所 有 & 已 经 经 过 的 城市 序号 。 设 蚂蚁 有 & 当前 所 
在 城市 为 i, 则 下 一 个 访问 城市 

| arg maxjey,@{LtG.j) ]»LyG.j) Jf}, qS qo 
j= (5.5) 
S 其 他 
其 中 ,J (让 表示 从 城市 i 可 以 直接 到 达 的 且 又 不 在 蚂蚁 访问 过 的 城市 序列 R* 中 的 城市 


出 发 城市 


是 


状态 转移 规则 


信息 系 局 部 更 新 规则 


图 5.5 ACS 求 解 TSP 的 流程 图 
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集合 。n(i, 站 是 启发 式 信 息 ,t(i, 丫 表 示 边 (i, 7 ) 上 的 信息 素 量 。B 是 描述 信息 素 浓 度 和 
路 径 长 度 信 息 相 对 重要 性 的 控制 参数 。g。 是 一 个 L0, 1 区 间 内 的 参数 , 当 产 生 的 随机 数 
qd 过 do 时 ,蚂蚁 直接 选择 使 启发 式 信 息 与 信息 素 量 的 8 指数 乘积 最 大 的 下 一 城市 节点 ,我 
们 通常 称 之 为 开发 (exploitation) ;反之 , 当 产 生 的 随机 数 q>q 时 ,ACS 将 和 各 种 AS 算 
法 一 样 使 用 轮 盘 赌 选择 策略 ,公式 (5.6) 是 位 于 城市 i 的 蚂蚁 选择 城市 7 作为 下 一 个 访 
问 对 象 的 概率 ,我 们 通常 将 qg >q 时 的 算法 执行 方式 称 为 偏向 探索 (biased exploration) . 


[Dy PP ge Gy 
. 。 V7]p 
PeGsj) = Ji Pew IG] i 
N 其 他 


qo 是 ACS 中 引入 的 一 个 很 重要 的 控制 参数 ,在 ACS 的 状态 转移 规则 中 ,蚂蚁 选择 当 
前 最 优 移动 方向 的 概率 为 qo, 同时 ,蚂蚁 以 (1 一 go) 的 概率 有 偏向 地 搜索 各 条 边 。 通 过 调 
BE g ,我 们 能 有 效 调节 “开发 ”与 “探索 ”之 间 的 平衡 ,以 决定 算法 是 集中 开发 最 优 路 径 附 
近 的 区 域 ,还 是 探索 其 他 的 区 域 , 如 图 5.6 TAN o 


图 5.6 ACS 中 的 “开发 ”与 “探索 ” 


2. 信息 素 全 局 更 新 规则 

在 ACS 的 信息 素 全 局 更 新 规则 中 ,只 有 至 今 最 优 蚂蚁 (构建 出 了 从 算法 开始 到 当前 
迭代 中 最 短路 径 的 蚂蚁 ) 被 允许 释放 信息 素 ,这 个 策略 与 伪 随 机 比例 状态 转移 规则 一 起 作 
用 ,大 大 地 增强 了 算法 搜索 的 导向 性 。 在 每 轮 的 迭代 中 ,所 有 蚂蚁 均 构 建 完 路 径 后 ,信息 
素 全 局 更 新 规则 才 被 使 用 ,由 下 面 的 公式 给 出 : 

trli j) = (1—p) * tlij) +p. AnG.j), WG.j) ET (5.7) 

其 中 Ar (i,j) 二 1/C,。 要 强调 的 是 ,不 论 是 信息 素 的 蒸发 还 是 释放 ,都 只 在 属于 至 今 最 优 
路 径 的 边 上 进行 ,这 里 与 AS 有 很 大 的 区 别 。 因 为 AS 算法 将 信息 素 的 更 新 应 用 到 了 系 
统 的 所 有 边 上 ,信息 素 更 新 的 计算 复杂 度 为 O), m ACS 算法 的 信息 素 更 新 计算 复杂 
度 降 低 为 On). S$ o 代表 信息 素 蒸发 的 速率 ,新 增加 的 信息 素 At, oj) BFE LAK o 
后 ,更 新 后 的 信息 素 浓 度 被 控制 在 旧 信 息 素 量 与 新 释放 的 信息 素 量 之 间 ,用 一 种 隐 含 的 又 
更 简单 的 方式 实现 了 MMAS 算法 中 对 信息 素 量 取 值 范围 的 限制 。 

同样 ,我 们 需要 考虑 在 ACS 中 使 用 迭代 最 优 更 新 规则 和 至 今 最 优 更 新 规则 对 算法 性 
能 造成 的 影响 。 实 验 结果 表明 ,在 优化 小 规模 的 TSP 实例 时 ,和 迭代 最 优 更 新 和 至 今 最 优 
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更 新 两 者 得 到 差不多 的 求解 精度 和 收敛 速度 ;然而 , 随 着 城市 数目 的 增多 ,使 用 至 今 
更 新 规则 的 优势 越 来 越 大 ; 当 城 市 数目 超过 100 时 ,使 用 至 今 最 优 更 新 规则 的 性 能 远 
于 使 用 迭代 最 优 更 新 规则 ,这 与 MMAS 是 类 似 的 。 

3. 信息 素 局 部 更 新 规则 

ACS 在 AS 的 基础 上 进行 的 男 一 项 重大 改进 是 信息 素 局 部 更 新 规则 的 引入 。 在 路 径 
构建 过 程 中 ,对 每 一 只 蚂蚁 ,每 当 其 经 过 一 条 边 (i, 7) 时 , 它 将 立刻 对 这 条 边 进行 信息 素 
的 更 新 ,更 新 所 使 用 的 公式 如 下 : 

TCi j) = (1 — £) erli j) FÊ” To (5.8) 
其 中 ,& 是 信息 素 局 部 挥发 速率 ,满足 0 一 上 一 1。r 是 信息 素 的 初始 值 。 通 过 实验 我 们 发 
现 ,& 为 0.1,5 取 值 为 1/(zC”) 时 ,算法 对 大 多 数 实例 有 着 非 稼 好 的 性 能 。 其 中 7 为 城市 
个 数 ,C” 是 由 贪 焚 算 法 构造 的 路 径 的 长 度 。 

由 于 tm =1/(nC™) <i, 1) ,公式 (5.8) 所 计算 出 来 的 更 新 后 的 信息 素 相 比 更 新 前 减 
少 了 ,也 就 是 说 ,信息 素 局 部 更 新 规则 作用 于 某 条 边 上 会 使 得 这 条 边 被 其 他 蚂蚁 选 中 的 概 
率 减 少 。 这 种 机 制 大 大 增加 了 算法 的 探索 能 力 , 后 续 蚂 蚁 倾 问 于 探索 未 被 使 用 过 的 边 ,有 
效 地 避免 了 算法 进入 停 清 状态 。 

在 前 面 对 AS 的 介绍 中 我 们 曾 提 到 过 顺序 构建 和 并 行 构建 两 种 路 径 构建 方式 ,对 于 
AS 算 法 ,不 同 的 路 径 构 建 方式 不 会 影响 算法 的 行为 。 但 对 于 ACS, 由 于 信息 素 局 部 更 新 
规则 的 引入 ,两 种 路 径 构 建 方 式 会 造成 算法 行为 的 区 别 , 通 常 我 们 选择 让 所 有 蚂蚁 并 行 地 
工作 ,如 图 5.7 所 示 。 


最 优 
远 优 


/ / 
r ` / N 
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图 5.7 ACS 中 的 顺序 构建 与 并 行 构建 


在 本 小 节 的 最 后 ,我 们 指出 ,ACS 的 前 身 是 1995 年 Gambardella 和 Dorigo 提出 的 
Ant-Q 算法 ,ACS 与 Ant-Q 的 区 别 仅 在 于 ro 的 取 值 。 在 ACS 中 二 1/ (nC™ ) 为 常 
量 , 但 在 之 前 提出 的 AntQ 算法 中 r 依据 剩余 可 访问 边 中 最 高 的 信息 素 量 定义 。 当 人 们 
发 现 把 to 置 为 一 个 很 小 的 常数 值 亦 能 达到 相当 的 性 能 时 ,Ant-Q 被 淘汰 掉 了 。 我 们 在 这 
里 只 是 想 说 明 , 对 于 致力 于 科学 人 研究 的 人 来 说 ,KISS 是 最 基本 的 思考 方法 。KISS 方法 来 
源 于 美国 的 军队 用 语 , 当 部 下 做 得 不 好 的 时 候 , 长 官 就 会 大 声 训 奈 “Keep It Simple. 
Stupid!”, 意 思 是 “简单 点 ,笨蛋 !”, 在 工程 学 和 科研 中 ,这 也 是 非常 适用 的 。 


53.5 蚁 群 算法 的 其 他 改进 版 本 
从 第 一 个 蚂蚁 系统 诞生 至 今 , 蚁 群 优化 算法 已 经 发 展 了 近 20 年 ,从 意大利 的 一 个 实 
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验 室 传播 到 了 全 世界 千 千 万 万 的 实验 室 中 。 改 群 算法 作为 一 种 新 兴 的 仿生 学 算法 ,有 着 
鲁 棒 性 强 、 分 布 式 并 行 计 算 .易于 与 其 他 方法 结合 等 优点 ,但 由 于 其 搜索 时 间 较 长 、. 易 于 陷 
入 局 部 最 优 , 算 法 还 有 待 进一步 的 改进 。 前 面 ,我 们 介绍 了 精华 蚂蚁 系统 .基于 排列 的 蚂 
尽 系统 .最 大 最 小 蚂蚁 系统 以 及 蚊 群 系统 ,它们 大 多 由 尽 群 优化 的 创始 人 Dorigo 以 及 在 
蚁 群 优化 界 有 着 杰出 贡献 的 Stiitzle 等 人 提出 ,是 经 典 的 蚁 群 算法 改进 版 本 ,是 全 世界 学 
者 们 源源 不 断 的 灵感 的 源 果 。 之 后 世界 上 又 出 现 了 许多 新 的 算法 改进 设计 ,本 小 节 将 介 
绍 这 些 改 进 设 计 , 包 括 一 些 离散 域 蚁 群 算法 的 改进 人 研究 ,以 及 连续 域 蚁 群 算法 的 改进 人 研 
究 , 希 望 对 有 兴趣 进一步 研究 ACO 算法 的 读者 或 优化 算法 爱好 者 有 所 启发。 

1. 近似 非 确定 性 树 搜索 (Approximate Nondeterministic Tree Search. ANTS) 

ANTS 的 名 字 来 源 于 这 种 算法 类 似 一 种 近似 非 确定 性 树 搜索 ,ANTS 在 三 个 方面 对 
AS 算法 进行 了 修改 : 它 使 用 部 分 解 的 完全 代价 佑 计 的 下 界 来 计算 各 边 的 司 发 式 信 息 ; 它 
使 用 加 法 而 非 乘 法 来 实现 局 发 式 信 息 与 信息 素 的 结合 ;没有 直观 的 信息 素 蒸 发 步骤 ,信息 
素 增 加 量 的 计算 公式 也 与 之 前 各 种 ACO 算法 很 大 不 同 。ANTS 算法 在 它 的 第 一 租 文 献 
以 及 后 续 人 研 究 中 ,很 少 有 被 应 用 于 TSP, 大 多 数 有 关 ANTS 的 文献 都 关注 于 二 次 分 配 问 
题 , 它 在 这 个 领域 中 有 着 很 好 的 计算 结果 一 。 

2. 多 态 蚁 群 算法 (Polymorphic Ant Colony Algorithm, PACA) 

实际 上 ,自然 界 中 的 蚁 群 是 有 组 织 有 分 工 的 ,这 种 自 组 织 分 工 方式 对 蚁 群 完成 复杂 的 
任务 起 着 十 分 重要 的 作用 。 我 国 的 徐 精 明 等 人 在 文献 L34] 中 提出 了 一 种 多 态 蚁 群 算法 ， 
将 蚁 群 中 的 蚂蚁 分 为 三 类 : MERN .搜索 蚁 和 工 蚁 。 侦 查 蚁 的 任务 是 在 算法 初期 以 每 个 
城市 为 中 心 做 局 部 区 域 观察 ,并 将 侦查 结果 与 已 有 的 先 验 知识 结合 ,生成 侦查 素 ,问题 空 
间 内 各 边 的 初始 信息 又 量 与 侦查 素 有 关 。 搜 索 蚊 是 各 类 传统 蚁 群 算 法 通常 所 指 的 蚂蚁 ， 
它 根据 局 发 式 信息 和 信息 素 选 择 下 一 城市 节点 ,直至 构建 出 最 佳 路 径 。 工 蚊 只 负责 从 已 
经 找到 的 最 优 路 径 上 搬运 食物 ,与 算法 最 优 路 径 的 寻找 无 关 。 文 献 L34] 中 选用 TSPLIB 
中 的 Oliver30 作为 仿真 实例 ,对 PACA 与 AS 进行 性 能 的 对 比 ,实验 结果 表明 ,在 搜索 到 
相同 结果 的 情况 下 ,PACA 所 需 的 和 迭代 次 数 比 基本 AS 要 少 很 多 。 

3. RAAT AY Wl BS HK (Clustering Processing Ant Colony Algorithm ,CPACA) 

我 们 知道 BS HES TAS OT OS fR te ÍT Ra Wad ek Ay IE FEA SS HEE. AK, , GOR RK 
们 找到 一 种 方式 ,将 大 规模 的 TSP 分 解 为 小 规模 子 问 题 分 别 用 蚁 群 算法 进行 求解 ,再 将 
各 个 小 规模 子 问题 的 解 合 并 , 便 可 高 效 地 得 到 原 待 求解 问题 的 解 。CPACA 就 是 这 样 一 
种 方法 , 它 对 城市 空间 进行 聚 类 处 理 , 在 每 一 个 类 中 用 蚁 群 算法 求 得 类 内 最 短路 径 , 随 后 
将 各 个 类 的 中 心 看 成 一 个 TSP 也 用 蚁 群 算法 求解 得 类 间 最 短路 人 径 , 最 后 确定 每 个 类 的 边 
界 城市 ,通过 边界 城市 将 各 个 类 连接 起 来 。 文 献 L35j] 中 的 实验 结果 表明 ,CPACA 的 性 能 
优 于 基本 蚁 群 算法 。CPACA 示意 图 如 图 5. 8 所 示 。 

4. 连续 正 交 蚊 群 算法 (Continuous Orthogonal Ant Colony. COAC) 

近年 来 ,将 应 用 领域 扩展 到 连续 空间 的 蚁 群 算法 也 在 发 展 , 连 续 正 交 蚊 群 就 是 其 中 比 
较 优 秀 的 一 种 。COAC 通过 在 问题 空间 内 上 自 适 应 地 选择 和 调整 一 定数 量 的 区 域 ,并 利用 
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图 5.8 CPACA 示意 图 


蚂蚁 在 这 些 区 域内 进行 正 交 搜索 ,在 区 域 间 进行 状态 转移 ,并 更 新 各 个 区 域 的 信息 素来 搜 
索 问 题 空间 中 的 最 优 解 。COAC 的 基本 思想 是 利用 正 交 试 验 的 方法 将 连续 空间 离散 化 。 
文献 [29 ] 中 的 实验 结果 表明 , COAC 的 性 能 优 于 之 前 的 连续 蚁 群 算法 APIS! 和 
CACO526] 。 


5.4 峻 群 优化 算法 的 相关 应 用 


WHE DECI A 1991 年 由 Dorigo 提出 并 应 用 于 TSP 问题 以 来 ,已 经 发 展 了 近 20 
年 。 由 于 具有 和 鲁 棱 性 强 、 全 局 搜索 、 并 行 分 布 式 计算 、 吻 与 其 他 方法 结合 等 优点 ,近年 来 
ACO 的 应 用 领域 不 断 扩张 ,如 车 间 调 度 问 题 \ 车 辆 路 径 问 题 分配 问 题 . 子 集 问题 、 网 络 路 
FH We) elt. E A E Dd ve 数据 挖掘、 图像 识 别 、 系 统 辨 识 等 。 这些 问题 大 多 是 NP 难 的 组 
合 优化 问题 ,用 传统 算法 难以 求解 或 无 法 求解 ,各 种 蚁 群 算法 及 其 改进 版 本 的 出 现 ,为 这 
些 难题 提供 了 有 效 而 高 效 的 解决 手段 。 

本 节 将 列举 ACO 的 经 典 应 用 ,有 兴趣 致力 于 蚁 群 优化 应 用 研究 的 读者 或 是 算法 爱 
好 者 可 以 进一步 深入 地 阅读 我 们 列 出 的 参考 文献 。 

1. 车 间作 业 调 度 问 题 

车 间作 业 调 度 问 题 (Job-Shop Scheduling Problem,JSP) 是 生产 与 制造 业 的 核心 问 
题 , 它 的 本 质 是 在 时 间 上 合理 地 分 配 系 统 的 有 限 资 源 ,以 达到 特定 的 目标 。 典 型 的 JSP 
包括 一 个 待 加 工 的 零件 集合 ,每 种 零件 都 有 一 个 工序 集合 ,为 了 完成 各 个 工序 , 震 要 在 多 
台 机 逢 上 执行 操作 。 调 度 的 目的 就 是 为 各 个 零件 合理 地 分 配 机 床 等 资源 ,合理 地 安排 加 
工时 间 ,在 满足 一 些 现实 约束 条 件 的 同时 ,达到 某 些 目标 的 最 优化 。 车 间 调 度 问 题 是 一 个 


Om MEHR 


NP ME la) eh. 55 AY PPR I & N EAE ee Ef BE AB [A] SS HN TSP 时 所 表现 出 来 的 性 
能 也 往往 有 一 些 差 异 。 不 过 总 的 来 说 ,ACO 是 针对 ISP 的 各 种 求解 方法 中 非常 优秀 的 一 
种 ,JSP 在 ACO 的 应 用 研究 中 处 于 一 个 比较 核心 的 地 位 ,如 表 5. 3 所 示 。 


表 5.3 蚁 群 优化 算法 在 车 间 调 度 问 题 中 的 应 用 


单机 器 总 权重 延迟 问题 [41]~[43] 
an u 

机 需 总 延迟 问题 dependent setup times, SMTTPDST 

ethers es 


2. 车 辆 路 径 问 题 

车 辆 路 径 问 题 (Vehicle Routing Problem,VRP) 是 运输 组 织 优 化 的 核心 问题 , 它 的 一 
般 描 述 是 : 对 一 系列 指定 的 客户 ,确定 车 辆 配送 行驶 路 线 , 使 得 车 辆 从 贷 仓 出 发 ,有 序 地 
经 过 一 系列 客户 点 ,并 返回 贷 仓 。 要 求 在 满足 一 定 约束 的 条 件 下 (如 车 辆 载重 、 客 户 需 求 、 
时 间 窗 等 ) ,使 总 运输 成 本 最 小 。 从 VRP 的 定义 中 我 们 不 难 发 现 , VRP 实际 上 包含 了 
TSP 作为 它 的 子 问 题 ,VRP 也 是 一 个 NP 难 问题 , 且 它 涉及 了 更 多 的 约束 , 比 TSP 更 难 
解 。 近 年 来 ,学 者 们 对 利用 蚁 群 优化 算法 解决 各 种 VRP 问题 进行 了 大 量 的 研究 ,取得 了 
丰富 的 成 果 , 如 表 5.4 所 示 。 

R54 改 群 优化 算法 在 车 辆 路 径 问 题 中 的 应 用 


有 容量 限制 的 VRP Capacitated vehicle routing problem, CVRP [47]~L49] 
多 车 场 VRP Multi-depot vehicle routing problem, MDVRP [50] 
周期 性 VRP Period vehicle routing problem, PVRP [51] 

分 离 配 送 VRP Split delivery vehicle routing problem, SDVRP [52] 

随机 需求 VRP Stochastic vehicle routing problem,SVRP [53 ] 

集 货 送 货 一 体 化 VRP Vehicle routing problem with pick-up and delivery, VRPPD | L54J]L55] 
有 时 间 窗 的 VRP Vehicle routing problem with time windows, VRPTW [54]~L58] 


其 他 


Others 


oF 


(= 
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3. 其 他 方面 的 应 用 

当今 蚁 群 优化 算法 的 应 用 领域 非常 地 广泛 , 表 5.5 列 出 了 ACO 算法 在 分 配 问 题 、 网 
络 路 由 问题 子 集 问题 .最短 公 共 超 序列 问题 、 二 维 格 模型 重 日 质 折合 问题 ,数据 挖掘 、 图 
像 处 理 .系统 辨识 等 各 个 应 用 领域 的 相关 参考 文献 。 


R55 蚁 群 优化 算法 在 其 他 方面 的 应 用 


分 配 问题 
二 维 格 模型 蛋 日 质 折 释 问题 2D HP protein folding problem, 2D-HP-PFP [77] 
数据 挖掘 Data mining [78][79] 


图 像 处 理 Imagine processing [80 ][81 ] 
系统 辨识 System identification [82][83] 
其 他 Others ws。 


5.5 峻 群 优 化 算法 的 参数 设置 


前 面 的 章节 已 经 提 到 ,参数 的 设置 对 蚁 群 优化 算法 的 搜索 性 能 有 独 较 大 影响 。 在 这 
一 节 我 们 简要 讨论 ACO 中 各 个 参数 的 意义 以 及 经 验 设置 。 表 5.6 所 示 的 是 绝 大 多 数 
ACO 算法 都 具有 的 参数 变量 的 设置 , 表 5.7 所 示 的 是 某 些 ACO HIE PHAN AMS 
数 变量 的 设置 。 


参数 


蚂蚁 数目 m 


信息 素 权重 
a 与 启发 式 
信息 权重 


信息 素 挥 发 
At p 


初始 信息 素 
量 To 


终止 条 件 


参 K 
释放 信息 素 的 蚂蚁 个 数 w 


进化 停滞 判定 代数 rs 


信息 素 局 部 挥发 因子 


伪 随 机 因子 qo 


Som MANKA 


表 5.6 各 种 蚁 群 优 化 算法 共有 参数 的 经 验 设置 


参考 设置 J 表示 参数 的 意义 。 表示 参数 的 经 验 设置 


J 


ee o < 


影响 着 算法 的 搜索 能 力 和 计算 量 。 

蚂蚁 数目 过 多 时 ,每 轮 和 迭代 的 计算 量 大 、 且 被 搜索 过 的 路 径 上 信息 素 变 化 比较 平 
均 ,此 时 算法 的 全 局 随机 搜索 能 力 得 到 增强 ,但 收敛 速度 减 慢 。 

蚂蚁 数目 过 少时 ,算法 的 探索 能 力 变 差 ,容易 出 现 早 熟 现象 。 特 别 是 当 问 题 规 模 很 
大 时 ,算法 的 全 局 寻 优 能 力 会 变 得 十 分 糟糕 。 

Dorigo 等 人 的 实验 [0 表明 ,在 用 AS. EAS, AS, ws 和 MMAS 求 解 TSP 问题 时 ,m 取 
值 等 于 城市 数目 ”算法 有 较 好 性 能 ;而 对 于 ACS.m=10 比较 合适 


决定 算法 搜索 的 导向 ,影响 算法 的 搜索 能 力 。 

a 越 小 ,最 邻近 城市 被 选中 的 概率 越 大 ,蚂蚁 越 注重 “眼前 利益 ”"。a 二 0 时 ,算法 等 
同 于 随机 贪 禁 算 法 。 

8 越 小 ,蚂蚁 越 倾 向 于 根据 信息 素 浓 度 确定 路 径 , 算 法 收敛 越 快 。8=0 时 ,构建 出 
的 最 优 路 径 与 实际 目标 有 着 较 大 差异 ,算法 的 性 能 比较 糟糕 。 

Dorigo 等 人 的 实验 "表明 ,在 各 类 ACO 算法 中 设置 a= 1,8=2~5 比较 合适 


影响 蚂蚁 个 体 之 间 相 互 影 响 的 强 弱 ,关系 到 算法 的 全 局 搜索 能 力 和 收敛 速度 。 

P 较 大 时 ,信息 素 挥发 速率 大 ,那些 从 未 被 蚂蚁 选择 过 的 边 上 的 信息 素 急剧 减 小 到 
接近 0, 降低 算法 的 全 局 探索 能 力 。 

P 较 小 时 ,算法 具有 较 高 的 全 局 搜索 能 力 ,但 是 由 于 各 个 路 径 的 信息 素 浓度 差距 拉 
大 较 慢 ,算法 收敛 速度 较 慢 。 

Dorigo 等 人 的 实验 59 表明 ,对 于 AS 和 EAS,p 二 0.5; 对 于 ASau o= 0. 1; X} F 
MMAS,p 二 0.02; 对 于 ACS,p 二 0.1, 算 法 的 综合 性 能 较 高 


决定 算法 在 初始 化 阶段 的 探索 能 力 ,影响 算 法 的 收敛 速度 。 

to 太 小 ,未 被 蚂蚁 选择 过 的 边 上 信息 素 太 少 ,蚂蚁 很 快 就 全 部 集中 在 一 条 局 部 最 优 
的 路 径 上 ,算法 容易 早熟 。 

to 太 大 ,信息 素 对 搜索 方向 的 引导 能 力 增 长 得 十 分 缓慢 ,算法 收敛 慢 。 

Dorigo A AY ae HER. 对 于 AS, to =m/C™ ;对 于 EAS, to = (e+ m)/pC™ ;对 
于 ASynk »T = 0. 5r(r—1)/oC™ ; Xt F MMAS, to = 1/0C™ ;对 于 ACS, to =1/nC™ 
(各 个 变量 符号 的 定义 与 本 章 5.2 节 和 5. 3 节 中 所 述 一 致 ) 


决定 算法 运行 何 时 结束 ,由 具体 的 应 用 和 问题 本 身 确定 。 

将 最 大 循环 数 设 定 为 500.1000、5000 ,或 者 最 大 的 函数 评估 次 数 , 等 等 。 
也 可 以 使 用 算法 求解 得 到 一 个 可 接受 的 解 作 为 终止 条 件 。 

或 者 是 当 算 法 在 很 长 一 段 迭 代 中 没有 得 到 任何 改善 时 ,可 以 终止 算法 


表 5.7 蚁 群 优 化 算法 中 其 他 一 些 经 典 参数 的 经 验 设置 


参考 设置 J 表示 参数 的 意义 。 表示 参数 的 经 验 设置 
J 影响 算法 的 全 局 搜索 能 力 和 收敛 速度 。 

。 在 AS 中 ,参数 w 设 置 为 w 王 6 

J 影响 算法 的 全 局 搜索 能 力 。 

。 在 MMAS 中 ,参数 rs 设置 为 rs 二 25 

J 决定 蚂蚁 搜索 时 相互 影响 的 强度 ,影响 算法 的 全 局 搜索 能 力 。 

。 在 ACS 中 ,参数 8 设置 为 &==0.1 

决定 算法 “开发 ”与 “探索 ”的 相互 关系 ,影响 算法 的 全 局 搜索 能 力 


和 收敛 速度 。 
。 在 ACS 中 ,参数 q 设置 为 q=0.9 


a 
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56 本 章 习 题 
1. 请 指出 蚁 群 优化 算法 的 基本 思想 来 源 。 
2. 请 绘制 蚂蚁 系统 的 流程 图 ,并 描述 算法 执行 过 程 的 基本 步骤 。 
3. 尽 群 系统 在 蚂蚁 系统 的 基础 上 新 添加 的 信息 又 局 部 更 新 规则 有 什么 作用 ? 
4. 随机 比例 规则 和 伪 随 机 比例 规则 的 区 别 是 什么 ?” 思考 为 什么 尽 群 系统 要 使 用 伪 
随机 比例 规则 ? 
5. 通过 查阅 相关 参考 文献 ,了 解 蚁 群 优化 算法 在 车 间 调 度 问 题 中 的 应 用 ,并 完成 
# 5.8. 
表 5.8 车 间 调 度 问 题 与 蚁 群 优 化 算法 中 各 要 素 的 对 应 
车 间 调 度 问 题 蚁 群 优 化 算法 

零件 

机 床 

工序 

操作 

加 工时 间 
6. 如 果 现 在 有 人 辣 你 请 教 蚁 群 优化 算法 的 应 用 领域 有 哪些 ,你 将 如 何 癌 他 介绍 ? 
7. 试 描述 在 ACO 中 参数 a bo 对 算法 性 能 的 影响 。 
8. 上 机 编写 完整 的 ACO 程序 ,实现 对 例 5. 1 完整 的 求解 。 
9. (开放 性 问题 ) 对 于 蚁 群 优化 算法 ,你 能 目 己 设计 出 一 种 改进 方案 吗 ? 
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普通 高 校本 科 计 算 机 专业 


粒子 群 优化 算法 


乌 群 , 鱼 群 的 迁徙 、 现 食 等 群体 行 
力 是 一 个 优化 现象 吗 ? 是 一 种 优化 行为 
吗 ? 这 能 够 为 我 们 设计 最 优化 算法 提供 


GR ERITI- MARSIT 
为 属于 群体 智能 行为 ， 本 身 是 一 个 
最 优化 的 过 程 。 通 过 模拟 这 些 群 体 
智能 行为 ， 并 融入 社会 心理 学 的 个 
体 认 知 和 社会 影响 等 概念 ， 研 究 者 
提出 了 一 种 称 为 粒子 群 优 化 算法 
(Particle Swarm Optimization, PSO) 


的 群体 智能 算法 。 


大 自然 是 我 们 的 老师 ,生物 进化 过 程 、 群 体 智能 活动 等 为 我 们 设计 一 个 又 一 个 的 
优化 算法 提供 了 灵感 的 源 果 。 粒 子 群 优化 算法 (Particle Swarm Optimization, PSO) 就 
是 仿生 算法 的 一 个 著名 代表 。 它 是 一 种 模拟 目 然 界 的 生物 活动 以 及 群体 智能 的 随机 
搜索 算法 。 因 此 粒子 群 优化 算法 一 方面 吸取 了 人 工 生命 (Artificial Life) , 5 i w A 
( Birds Flocking) 、 包 群 学 习 (Fish Schooling) 和 和 群 理论 (Swarm Theory) 的 思想 , 男 一 方 
面 又 具有 进化 算法 的 特点 ,和 遗传 算法 、 进 化 策略 、 进 化 规划 等 算法 有 相似 的 搜索 和 
优化 能 力 。 

本 和 草 将 对 粒子 群 优化 算法 进行 介绍 ,从 算法 的 思想 来 源 、 基 本 流程 改进 版 本 、 算 法 应 
用 和 参数 设置 等 几 个 方面 为 读者 展示 了 PSO 的 有 关 知 识 。 上 有 具体 包括 如 下 的 内 容 : 

。 粒子 群 优化 算法 的 基本 思想 ; 

。 粒子 群 优化 算法 的 基本 流程 ; 

。 粒子 群 优化 算法 的 改进 版 本 ; 

。 粒子 群 优化 算法 的 相关 应 用 ，; 

。 粒子 群 优化 算法 的 参数 设置 。 


6.1 粒子 群 优化 算法 简介 


6.1.1 思想 来 源 


粒子 群 优 化 算法 (Particle Swarm Optimization,PSO)U 作 为 进化 计算 的 一 个 分 支 ， 
是 由 Eberhart 和 Kennedy F 1995 年 提出 的 一 种 全 局 搜索 算法 ,同时 它 也 是 一 种 模拟 目 
然 界 的 生物 活动 以 及 群体 智能 的 随机 搜索 算法 。 因 此 粒子 群 优 化 算法 一 方面 吸取 了 人 工 
生命 (Artificial Life) , 6 # m (Birds Flocking)、 鱼 群 学 习 (Fish Schooling) 和 群 理论 
(Swarm Theory) 的 思想 , 男 一 方面 又 具有 进化 算法 的 特点 ,和 遗传 算法 、 进 化 策略 、 进 化 
规划 等 算法 有 相似 的 搜索 和 优化 能 力 。 

粒子 群 优化 算法 的 发 明 , 可 以 说 是 Eberhart 和 Kennedy 在 借鉴 前 人 科学 家 对 自然 界 
生物 群体 活动 的 认识 以 及 这 些 活动 行为 计算 机 可 视 化 仿真 的 基础 上 ,并 与 各 自 的 研究 音 
景 知识 相 结 合 的 产物 。Eberhart 是 一 位 电子 电气 工程 师 ,Kennedy 是 一 名 社会 心理 学 
家 ,他 们 在 合作 人 研究 PSO 的 时 候 , 目 的 就 是 为 了 将 社会 心理 学 上 的 个 体 认 知 、 社 会 影响 、 
群体 智 意 等 思想 融入 到 组 织 性 和 规律 性 很 强 的 群体 行为 中 ,开发 一 个 可 以 用 于 工程 实践 
的 优化 模型 和 优化 工具 。 

在 动物 的 群体 行为 中 ,科学 家 们 很 早 就 发 现 了 自然 界 的 乌 群 . 兽 群 、 鱼 群 等 在 其 迁徙 、 
捕食 过 程 中 (如 图 6. 1 所 示 ) ,往往 表现 出 高 度 的 组 织 性 和 规律 性 。 这 些 现象 受到 了 高 度 
的 重视 和 广泛 的 关注 ,吸引 着 大 批 生物 学 家 、 动 物 学 家 、 计 算 机 科学 家 ,行为 学 家 和 社会 心 
理学 家 等 的 深入 研究 。 例 如 1987 年 ,Reynolds “实现 了 鸟 群 运动 的 计算 机 可 视 化 仿真 。 
1990 年 ,动物 学 家 Heppner 和 Grenander' 生 也 对 动物 的 群体 活动 规律 进行 了 研究 ,包括 
大 规模 群体 同步 聚合 ,突然 地 改变 方向 ,规律 的 分 散 与 重组 等 相关 的 机 制 和 潜在 的 规律 。 
众多 的 研究 成 果 都 为 粒子 群 优 化 算法 的 发 明黄 定 了 思想 来 源 和 理论 基础 。 
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图 6.1 动物 界 中 的 乌 群 . 兽 群 和 鱼 群 


在 群体 智慧 方面 ,社会 心理 学 在 揭示 人 类 以 及 动物 的 群体 活动 过 程 中 所 表现 出 来 
的 智慧 方面 取得 的 研究 成 果 也 被 引入 到 了 PSO e Wilson! 在 20 世纪 70 年 代 就 指 
出 :“ 至 少 在 理论 上 ,在 群体 竟 食 的 过 程 中 ,群体 中 的 每 一 个 个 体 都 会 受益 于 所 有 成 员 
在 这 个 过 程 中 所 发 现 和 累积 的 经 验 .” 因 此 PSO 直接 采用 了 这 一 思想 。Kennedy 和 
Eberhart 站 也 指出 ,他 们 在 设计 PSO 的 时 候 , 除 了 考虑 模拟 生物 的 群体 活动 之 外 ,更 重 
要 的 是 融入 了 了 个体 认 知 (Self-Cognition) 和 社会 影响 (Social-Influence) 这 些 社会 心理 学 
的 理论 。 这 些 也 许 是 Kennedy 在 结合 了 上 自身 研究 领域 的 优势 和 社会 生物 学 家 Wilson 
的 启发 的 成 果 。 后 来 在 1996 年 ,Boyd 和 Richerson5 在 研究 人 类 的 决策 过 程 时 ,也 提出 
了 个 体 学 习 和 文化 传递 的 概念 。 根 据 他 们 的 研究 结果 ,人 们 在 决策 过 程 中 使 用 两 类 重 
要 的 信息 : 一 是 自身 的 经 验 , 二 是 其 他 人 的 经 验 。 也 就 是 说 ,人 们 根据 自身 的 经 验 和 他 
人 的 经 验 进行 和 目 己 的 决策 。 这 也 给 PSO 的 合理 性 提供 了 男 一 个 佐证 。 

因此 ,粒子 群 优 化 算法 是 一 种 群体 智能 (Swarm Intelligence, SD 算法, 它 结合 了 动物 
的 群体 行为 特性 以 及 人 类 社会 的 认 知 特性 , 它 的 思想 来 源 如 图 6. 2 所 示 。 


6.1.2 基本 原理 


在 上 自然界 马 群 捕食 的 过 程 , 小 乌 们 是 通过 什么 样 的 机 制 找到 食物 的 呢 ? 事实 上 ,捕食 
的 乌 群 都 是 通过 各 目的 探索 与 群体 的 合作 最 终 发 现 食物 所 在 的 位 置 的 。 可 以 考虑 这 样 的 
一 个 情景 ,一 群 分 散 的 马 在 随机 地 飞行 更 食 ,它们 不 知道 食物 所 在 的 具体 位 置 , 但 是 有 一 
个 间接 的 机 制 会 让 小 鸟 知道 它 当 前 位 置 离 食物 的 距离 (例如 食物 香味 的 浓淡 等 )。 于 是 各 
个 小 马 就 会 在 飞行 的 过 程 中 不 断 地 记录 和 更 新 它 曾 经 到 达 的 离 食物 最 近 位 置 , 同 时 ,它们 
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1987 年 ,Reynolds 实现 了 鸟 群 运动 的 计算 机 可 视 化 仿真 ”Wilson 在 20 世 纪 70 年 代 就 指出 :“ 至 少 在 理论 上 ， 
(1) 飞 离 最 近 的 个 体 ， 以 避免 碰撞 ; 在 群体 砚 食 的 过 程 中 , 群体 中 的 每 一 个 个 体 都 会 受益 

\ (2) 飞 向 目标 ; 于 所 有 成 员 在 这 个 过 程 中 的 所 发 现 和 累积 的 经 验 。” 
(3) 飞 向 群体 的 中 心 

1990 年 、 动物 学 家 Heppner Fi] Grenander!” Boyd 和 Richerson!" 在 研究 人 类 的 决策 过 程 时 ， 也 提 

也 对 动物 的 群体 活动 规律 进行 了 研究 出 了 个 体 学 习 和 文化 传递 的 概念 。 根 据 他 们 的 研究 结 
包括 大 规模 群体 同步 聚合 , 突然 地 改变 方向 , 规 ”有 林 ， 人 们 在 决策 过 程 中 使 用 两 志 重 要 的 信息 : 一 是 目 
律 的 分 散 与 重组 等 相关 的 机 制 和 潜在 的 规律 身 的 经 验 ， 二 是 其 他 人 的 经 驻 


HAR SE 
个 体 认 知 


社会 影响 


ATE ait (Artificial Life) 
"3 #¢ ii & (Birds Flocking) 
粒子 群 优化 算法 
鱼 群 学 习 (Fish Schooling) 
1995 年 , Eberhart 和 KennedyD 四 提出 了 粒子 群 优化 算法 群 理论 (Swarm Theory) 


图 6.2 粒子 群 优 化 算法 的 基本 思想 来 源 


通过 信息 交流 的 方式 比较 大 家 所 找到 的 最 好 位 置 , 得 到 一 个 当前 整个 群体 已 经 找到 的 最 
佳 位 置 。 这 样 ,每 个 小 马 在 飞行 的 时 候 就 有 了 一 个 指导 的 方向 ,它们 会 结合 自身 的 经 验 和 
整个 群体 的 经 验 , 调 整 自 己 的 飞行 速度 和 所 在 位 置 ,不 断 地 寻找 更 加 接近 食物 的 位 置 ,最 
终 使 得 群体 聚集 到 食物 位 置 。 

在 粒子 群 优 化 算法 中 , 马 群 中 的 每 个 小 鸟 被 称 为 一 个 “粒子 ” ,通过 随机 产生 一 定 规模 
的 粒子 作为 问题 搜索 空间 的 有 效 解 , 然 后 进行 迭代 搜索 ,得 到 优化 结果 。 和 小 乌 一 样 , 每 
个 粒子 都 具有 速度 和 位 置 , 可 以 由 问题 定义 的 适应 度 困 数 确定 粒子 的 适应 值 , 然 后 不 断 进 
行 迭代 ,由 粒子 本 号 的 历史 最 优 解 和 群体 的 全 局 最 优 解 来 影响 粒子 的 飞行 速度 和 下 一 个 
位 置 ,让 粒子 在 搜索 空间 中 探索 和 开发 ,最 终 找 到 全 局 最 优 解 。 乌 群 驶 食 的 基本 生物 要 素 
和 粒子 群 优 化 算法 的 基本 定义 如 表 6.1 所 示 ,而 图 6.3 则 给 出 了 从 生物 界 的 乌 群 免 食 行 
为 到 粒子 群 优化 算法 的 关系 示意 图 。 


表 6.1 乌 群 砚 食 和 粒子 群 优化 算法 的 基本 定义 对 照 表 


SHAR 粒子 群 优化 算法 
乌 群 搜索 空间 的 一 组 有 效 解 (表现 为 种 群 规模 N) 
RB lal 问题 的 搜索 空间 (表现 为 维 数 D) 
飞行 速度 解 的 速度 向 量 v; = Lui ,vw ，*… ,vi J 
所 在 位 置 解 的 位 置 向 量 x; =La} naif ，… x? ] 


个 体 认 知 与 群体 协作 | 每 个 粒子 i 根据 自身 历史 最 优 位 置 和 群体 的 全 局 最 优 位 置 更 新 速度 和 位 置 
找到 食物 算法 结束 ,输出 全 局 最 优 解 
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PRSETER ,它们 不 知道 食物 所 在 的 具体 ENTREI o A IEN i 
位 置 ， 但 是 有 一 个 间接 的 机 制 会 让 小 鸟 知道 它 当 前 位 置 离 食物 称 为 二 个 “粒子 ”， 通 过 随机 产生 一 定 规模 
的 距离 (例如 食物 的 香味 的 浓淡 等 )。 于 是 各 个 小 鸟 就 会 在 飞行 Fe EAT ust 
过 程 中 不 断 地 记录 和 更 新 它 曾 经 到 达 的 离 食物 最 近 位 置 ， URGE AO elit Ie See RY A ERE 

同时 ， 它 们 通过 信息 交流 的 方法 比较 大 家 找到 的 最 好 位 置 ,得 eE, BETA h 
到 一 个 当前 整个 群体 已 经 找到 的 最 佳 位 置 。 这 样 ， 每 个 小 乌 在 解 和 群体 的 全 局 最 优 解 来 影响 粒子 的 速度 和 
飞行 的 时 候 就 有 了 一 个 指导 的 方向 ， 它们 会 结合 自身 的 经 验 和 位 置 ， 让 粒子 在 搜索 空间 中 探索 和 开发 ,最 终 
整个 群体 的 经 验 ， 调 整 自 己 的 飞行 速度 和 所 在 位 置 ， 不 断 地 寻找 到 全 启 最 优 解 。 | ~ 
找 更 加 接近 食物 的 位 置 ， 最 终 使 得 群体 聚集 到 食物 位 置 。 


图 6.3 从 乌 群 更 食 到 粒子 群 优化 算法 的 关系 示意 图 


6.2 ”粒子 群 优化 算法 的 基本 流程 


6.2.1 基本 流程 


ee ad i ore 
FE [alt v; SL v ui oes ur AME et x; 二 [xi oa? ，… ,x?j], 其 中 i 表示 粒子 的 编号 ,D 是 
求解 问题 的 维 数 。 粒 子 的 速度 决定 了 其 bia ah Jr my AL. 而 位 置 则 体现 了 粒子 所 代表 
的 解 在 解 空间 中 的 位 置 ,是 评估 该 解 质 量 的 基础 。 算 法 同时 还 要 求 每 个 粒子 各 目 维 护 一 
个 自身 的 历史 最 优 位 置 问 量 ( 用 pBest 表示 ) ,也 就 是 说 在 进化 的 过 程 中 ,如 果 粒 子 到 达 了 
某 个 使 得 适应 值 更 好 的 位 置 , 则 将 该 位 置 记录 到 该 粒子 的 历史 最 优 癌 量 中 ,而 且 如 果 粒 子 
能 够 不 断 地 找到 更 优 的 位 置 的 话 ,该 回 量 也 会 不 断 地 更 新 。 另 外 ,群体 还 维护 一 个 全 局 最 
优 问 量 , 用 gBest 表示 ,代表 所 有 粒子 的 pBest 中 最 优 的 那个 ,这 个 全 局 最 优 问 量 起 到 引 
守 粒 子 同 该 全 局 最 优 区 域 收敛 的 作用 。 

粒子 群 优化 算法 和 遗传 算法 相 比 ,没有 了 选择 算 子 .交配 算 子 和 变异 算 子 要 ,而 仅仅 
是 通过 速度 更 新 公式 和 位 置 更 新 公式 这 两 个 公式 ( 见 公 式 (6.1) 和 公式 (6.2)) 不 断 地 进化 
而 到 全 局 最 优 解 ,因此 ,PSO 的 原理 和 机 制 更 加 简单 ,算法 实现 也 相对 的 容易 ,运行 效率 
更 高 。PSO 的 算法 步骤 如 下 所 述 : 

C1) 初始 化 所 有 的 个 体 ( 粒 子 ) ,初始 化 它们 的 速度 和 位 置 , 并 且 将 个 体 的 历史 最 优 
pBest 设 为 当前 位 置 ,而 群体 中 最 优 的 个 体 作 为 当前 的 gBest。 

(2) 在 每 一 代 的 进化 中 ,计算 各 个 粒子 的 适应 度 困 数值 。 

(3) 如 果 该 粒子 当前 的 适应 度 图 数值 比 其 历史 最 优 值 要 好 ,那么 历史 最 优 将 会 被 当 
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前 位 置 所 替代 。 
(4) 如 果 该 粒子 的 历史 最 优 比 全 局 最 优 
要 好 ,那么 全 局 最 优 将 会 被 该 粒子 的 历史 最 
TET FAK 
(5) 对 每 个 粒子 i 的 第 d 维 的 速度 和 位 
置 分 别 按照 公式 (6. 1) 和 公式 (6. 2) 进 行 更 
新 。 这 两 个 公式 在 二 维 空间 中 的 关系 如 
图 6.4 所 示 。 
vi = w X vi +c, X rand{ X (pBest? — x$) + cz X randł X (gBest? — x7) (6.1) 
x? = r? + o? (6. 2) 
(6) 如 果 还 没有 到 达 结 束 条 件 , 转 到 (2) ,否则 输出 g Best 并 结束 。 
在 公式 (6. 1) Poo 是 惯量 权重 (Inertia Weight)! ,一般 初始 化 为 0.9, 然 后 随 着 进化 
过 程 线 性 递减 到 0.4;c! Al co 是 加 速 系 数 (Acceleration Coefficients 也 称 学 习 因 子 ) ,传统 
上 都 是 取 固 定 值 2.0;rand? 和 rand? 是 两 个 [0,1] 区 间 上 的 随机 数 。 需 要 注意 的 是 ,在 更 
新 过 程 中 ,PSO 要 求 采 用 一 个 由 用 户 设 定 的 Vs 来 限制 速度 的 范围 ,Vi 的 每 一 维 Vs, 一 
般 可 以 取 相 应 维 的 取 值 范围 的 10% 一 20%。 另 外 公式 (6.2) 中 的 位 置 更 新 必须 是 合法 
的 ,所 以 在 每 次 进行 更 新 之 后 都 要 检查 更 新 后 的 位 置 是 否 在 问题 空间 之 中 ,否则 必须 进行 
修正 ,一 般 的 修正 方法 可 以 是 重新 随机 设 定 或 者 限定 在 边界 。 
PSO 的 流程 图 和 伪 代 码 如 图 6. 5 所 示 。 


Vi gBest 
图 6.4 PSO 中 粒子 的 速度 与 位 置 在 二 维 
空间 中 的 关系 及 更 新 示意 图 


// 功 能 : 粒子 群 优化 算法 伪 代 码 
// 说 明 : 本 例 以 求 问 题 最 小 值 为 目标 


随机 初始 化 每 个 粒子 // 参 数 : NW 为 群体 规模 


procedure PSO 
for each particle i 
Viz A ING 4 | i 
评 信 每 个 粒子 并 得 到 全 局 最 优 Initialize velocity Vi and position Xi for 


particle i 

Evaluate particle i and set pBesti= Xi 
end for 
gBest=min{pBesti} 
while not stop 

for i=l to N 


是 一 渗 足 结束 条 件 


更 新 每 个 粒子 的 速度 和 位 置 


Update the velocity and position of 


评估 每 个 粒子 的 函数 适应 值 0 
aluate particle i 
if fit (Xi)< fit (pBesti) 
pBesti= Xi; 
if fit (pBesti)< fit (gBest) 
gBest= pBesti; 
end for 
end while 
print gBest 
结束 end procedure 


更 新 每 个 粒子 历史 最 优 位 置 


更 新 群体 的 全 局 最 优 位置 


图 6.5 PSO 的 流程 图 和 伪 代 码 
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6.2.2 应 用 举例 


下 面 通过 一 个 简单 的 函数 优化 的 例子 ,说明 粒子 群 优化 算法 的 执行 过 程 。 

例 6.1 CAPR y= f(a .22) =a tr, HP, — 10Sa 272.510, AFR ER. 
法 求解 > 的 最 小 值 ,请 写 出 关键 的 执行 步骤 。 

解 : 使 用 粒子 群 优化 算法 求解 例 6. 1 的 执行 步骤 如 图 6.6 所 示 。 


步骤 1 : 初始 化 。 步骤 2 : 粒子 的 速度 和 位 置 更 新 。 
假设 种 群 大 小 是 N=3 ; 在 搜索 空间 中 随机 初始 化 根据 目 身 的 历史 最 优 位 置 和 全 局 的 最 优 位 置 ， 更 新 每 个 
每 个 解 的 速度 和 位 置 ， 计 算 适 应 函数 值 ， 并 且 得 粒子 的 速度 和 位 置 。 
到 粒子 的 历史 最 优 位 置 和 群体 的 全 局 最 优 位 置 。 
E 1 = (3, 2) ve +(-5)?=64+25=89 Uj=OX vtec Xr, X ( pBest,—x,)+c Xr, X (gBest-x,) 

xı=(8,-5) (| pBest,;=x,= (8, —5) => 0.5 X 34+0+0=1.5 

Uy = (~3,-2) [f= (-5)?+9? =25+81=106 P597 "79 05x 24040=1 
z 1 =(-5, 9) { pBest,=x,=(—5, 9) X =X, t+, =(8, —5)+(1.5,1)=(9.5, 一 4) 

u= (5, 3) =(-7) + (-8)°=49+64=113 

ia 1 = (-7,-8) { pBest,=x,= (—7, -8) U.=O X vte Xr X ( pBesty—Xz)+ C7 Xr X (gBest—Xp) 
0.5 X (—3)+0+2 X 0.3 X (8-(—-5))=6.1 
0.5 X (—2)+0+2 X 0.1 X ((—5)}-9)=1.8 
x =x,+0,=(-5,9)+(6.1,1.8)=(1.1, 10.8)=(1.1,10) 


P| 
=(1.5,1) 


=(6.1,1.8) 


步骤 3 : PARLE AY iE AYE eA EL 。 
更 新 粒子 的 历史 最 优 位 置 和 全 局 的 最 优 位 置 - 


. 注意 ! 对 于 越界 的 位 置 ， 需 要 进行 合法 性 调整 
fi =9.5°+(-4)?=90.25+16=106.25>f,=89 


f,=89 
{ pBest,=(8, -5) U3=WX v3+C, Xr; X ( pBest;—x3)+C3 Xr X (gBest-x;) 

x X (8-(-7))= | 

mee e 0.05X(8-(-7))-3.5 13.5 63) 


f3 =1.17+10°=1.214+100=101.21<106=f, 
a 0.5 X 3+0+2 X 0.8 X ((-—5)-(-8))=6.3 


f=f=101.21 
pBest,=X,=(1.1, 10) x)=x,+0,;=(-7, -8)+(3.5,6.3)=(—3.5, —1.7) 
f3=(-3.5)?+(-1.7)?=12.25+2.89=15.14<113=f, Da 
f =fi=15.14 @ 是 惯量 权重 ， 一般 取 [0,1] 区 间 的 数 ， 这 里 假设 为 0.5 
{ ae =x,=(—3.5, —1.7) Č] 和 C> 为 加 速 系数 ， 通常 取 固 定 值 2.0 
eee Ailes ry Al ry SE [0,1] 区 间 的 随机 数 
gBest=pBest,=(—3.5, —1.7) 


步骤 4 : 如 果 满 足 结束 条 件 ， 则 输出 全 局 最 优 结果 并 结束 程序 ， 否 则 ， 转 向 步骤 2 继续 执行 。 


图 6.6 使 用 粒子 群 优化 算法 求解 例 6. 1 的 步 又 图 示 


6.3 粒子 群 优 化 算法 的 改进 研究 


由 于 粒子 群 优化 算法 的 简单 易 用 、 高 效 实用 , 自 其 提出 以 来 ,受到 众多 人 研究 者 的 探讨 
和 改进 ,并 且 被 运用 到 了 越 来 越 广泛 的 领域 之 中 。 

Eberhart 等 人 "于 2004 年 在 进化 计算 的 国际 顶级 期 刊 IEEE Transactions on 
Evolutionary Computation 上 组 织 了 一 个 关于 粒子 群 优化 算法 的 专刊 (Special Issue) 。 在 
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卷首 语 中 ,Eberhart 和 Shi 在 描述 PSO 研究 与 进展 的 时 候 提 到 了 PSO 相关 的 五 个 热点 
和 难点 问题 。 这 五 个 问题 分 别 是 : 算法 的 理论 研究、 算法 的 参数 研究 、 算 法 的 拓扑 结构 人 研 
究 、PSO 与 其 他 算法 的 混合 以 及 算法 的 应 用 。 该 Special Issue 刊登 了 7 篇 不 同人 研究 方面 
的 文章 9232。 可 以 说 ,2004 年 的 Special Issue on Particle Swarm Optimization 对 PSO 算 
法 人 研究 ,发展 与 应 用 起 到 了 承前启后 的 作用 。 一 来 , 它 对 1995 年 以 来 关于 PSO 的 人 研究 进 
展 和 成 果 进 行 了 比较 全 面 和 具体 的 综述 和 评价 ;二 来 ,发 表 的 7 篇 文 草 对 PSO 进行 了 比 
较 全 面 和 系统 的 完善 与 拓展 ,使 得 算法 性 能 更 加 高 效 ,应 用 范围 更 加 广泛 ;三 来 , 它 为 
PSO 的 进一步 研究 和 发 展 提 供 了 更 高 的 起 点 ,并 且 指 明了 相关 的 方向。 关于 PSO 的 研 
究 内 容 和 改进 方 回 ,我们 在 图 6.7 中 给 出 了 总 结 。 


指 的 是 对 粒子 群 优化 算法 进行 理论 分 析 ,从 数学 

推导 上 证 明 算 法 具有 收敛 性 ,能 够 保证 算法 求解 希望 从 理论 上 证 明 算 
算法 理论 研究 C 到 全 局 最 优 解 。 这 种 理论 研究 从 早期 的 静态 分 EMIS RE TI AIS 

析 ， 已 经 逐步 发 展 到 动态 分 析 , 对 保证 算法 的 性 能 力 。 

能 提供 了 理论 依据 。 


PSO 具有 惯量 权重 wo, 加速 系数 cl + cp» RAR 

E. 种 群 规模 等 参数 。 参 数 分 忻 试图 通过 研究 这 希望 从 实验 分 析 的 角 
些 参数 对 算法 全 局 搜索 能 力 和 局 部 搜索 能 力 的 影 [> 度 理解 算法 运行 机 理 ， 
啊 ， 找 到 更 好 的 参数 配置 或 者 目 适 应 调 参 方案 ， 提高 算法 性 能 。 

提高 算法 性 能 。 


PSO 有 全 局 版 本 和 局 部 版 本 之 分 ,它们 的 不 同 之 TS 
KETE F ENTAR ERE RERIT || RNASE EES 


作为 样本 还 是 局 部 邻居 中 最 优 的 粒子 作为 样本 。 上 一 
不 同 的 拓扑 结构 会 影响 算法 局 部 搜索 和 全 局 搜索 oo 
的 能 力 o S o 


PSO 目 身 收敛 速度 快 ， 但 是 容易 落 和 局 部 最 优 。 希望 通过 加 入 一 些 附 


een 混合 算法 引入 了 进化 算法 中 的 相关 算 子 ， 例 如 |_| 加 的 算 子 ,提高 种 和 
合算 法 研究 选择 、 交 又 、 变 异 等 算 子 ， 或 者 其 他 的 一 些 增 的 多 样 性 以 提高 算法 
加 算法 多 样 性 的 技术 ， 提 高 算法 性 能 。 


PSO 简单 易 用 、 人 性 能 高 效 ， 已 经 得 到 了 广泛 的 应 希望 通过 将 算法 应 用 
用 。 传统 的 应 用 以 连续 领域 的 优化 问题 居多 ， 近 到 各 种 不 同 的 领域 ， 
年 来 ， 将 PSO 离散 化 , 应 用 到 离散 组 合 优化 问题 在 实践 中 检验 算法 的 
中 的 研究 也 频频 出 现 , 算法 应 用 范围 进一步 扩展 。 有 效 性 。 


图 6.7 粒子 群 优化 算法 的 研究 内 容 和 改进 方向 


从 1995 年 提出 到 现在 ,PSO 已 经 经 过 了 十 多 年 的 发 展 和 完善 ,相关 的 理论 研究 、 算 
法 改进 和 应 用 拓展 都 取得 了 很 大 的 进展 。 无 论 是 研究 队伍 的 规模 发表 的 论文 数量 还 是 
网 上 的 信息 资源 ,发 展 速 度 都 很 快 ,PSO 已 经 得 到 了 国际 学 术 界 的 广泛 认可 , 像 IEEE 和 
ACM 等 的 相关 学 术 期 刊 和 国际 会 议 都 对 PSO 的 研究 和 发 展 非常 重视 。 收 录 PSO 文章 
较 多 ,质量 较 高 的 相关 学 术 期 刊 和 国际 会 议 名 录 如 表 6. 2 所 示 。 
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表 6.2 收录 PSO 科研 论文 较 多 的 学 术 期 刊 和 国际 会 议 一 览 表 


IEEE Transactions on 上 volutionary Computation 
IEEE Transactions on Systems; Man and Cybernetics 
IEEE Transactions on +*+. 

学 术 期 刊 


Machine Learning 
Evolutionary Computation 


IEEE Congress on Evolutionary Computation (CEC) 

IEEE International Conference on Systems, Man, and Cybernetics (SMC) 

ACM Genetic and Evolutionary Computation Conference (GECCO) 

International Conference on Ant Colony Optimization and Swarm Intelligence (ANTS) 
International Conference on Simulated Evolution And Learning (SEAL) 


国际 会 议 


有 关 PSO 的 综述 文章 不 断 出现 , 其 中 较 有 代表 性 的 综述 文章 分 别 于 2001 年 257 和 
2004 469) WY IEEE 进化 计算 国际 会 议 ,2007 年 的 ACM 遗传 与 进化 计算 国际 会 议 2 上 发 表 。 
同时 ,在 IEEE Transactions on Evolutionary Computation”?! 和 Natural Computing” t] 等 3% 
名 期 刊 上 也 收录 了 有 关 PSO 的 研究 进展 和 应 用 情况 的 综述 文章 。 同 时 ,有 关 PSO HY 
作 也 陆续 出 现 汪 ? 。 这 些 文章 和 著作 的 发 表 与 出 现 , 都 为 广大 读者 、 研 究 人 员 把 握 PSO 
研究 的 最 新 进展 动态 .应 用 和 发 展 趋势 提供 了 重要 的 参考 材料 。 此 外 ,有 关 PSO 的 网 络 
资源 也 在 日 益 增 多 ,例如 Particle Swarm Central 就 是 一 个 专门 对 PSO 的 研究 进展 和 最 
新 动态 进行 跟 踊 的 网 站 (http://www. particleswarm. info) ,而 且 该 网 站 收集 和 整理 了 很 


6.3.1 理论 研究 改进 


关于 PSO 的 数学 基础 .收敛 性 和 稳定 性 研究 ,最早 的 比较 权威 的 成 果 可 以 参考 法 国 数 
学 家 Clerc 与 Kennedy 于 2002 年 合作 的 文章 5 。 此 外 ,Trelear* 引 在 2003 年 也 对 PSO 的 收 
和 敛 性 和 稳定 性 进行 了 调查 研究 与 分 析 ,指出 PSO 最 终 稳 定 地 收敛 于 空间 中 的 某 一 个 点 ,但 
是 不 能 保证 收敛 到 全 局 最 优 的 点 ,有 时 候 甚 至 连 局 部 最 优 也 可 能 不 是 ,而 是 停 涡 在 一 个 当前 最 
好 的 位 置 。 在 2006 年 ,Kadirkamanathan 等 人 5 和 下，van den Bergh 等 人 站 对 PSO 的 研究 和 
数学 分 析 , 已 经 由 以 前 的 静态 分 析 深 入 到 了 动态 的 系统 分 析 。 表 6. 3 对 这 些 人 研究 进行 了 总 结 。 

表 6.3 粒子 群 优化 算法 理论 研究 一 览 表 


p er = 的 行为 进行 研究 ,由 静态 分 | 。 [29] 
bate ee ene [30] 
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算法 的 理论 研究 与 分 析 ,对 巩固 算法 的 理论 基础 有 重要 的 意义 ,同时 ,在 理论 研究 的 
基础 上 ,可 以 对 粒子 群 优化 算法 的 运行 机 理 进 一 步 深入 了 解 和 认识 ,对 加 强 和 改善 算法 的 
性 能 有 实际 的 指导 意义 。 


6.3.2 拓扑 结构 改进 


粒子 群 算 法 的 拓扑 结构 也 称 为 社会 结构 , 指 的 是 算法 中 的 个 体 如 何 进行 相互 作用 的 
问题 。 群 体 中 的 每 个 个 体 都 在 相互 学 习 , 除 基于 自身 的 认 知 之 外 ,还 在 不 断 地 癌 比 自己 更 
好 的 邻居 移动 。 通 过 这 样 的 信息 交流 ,整个 群体 将 能 够 聚集 到 一 个 全 局 最 优 的 位 置 。 
PSO 的 拓扑 结构 是 由 相互 重 倒 的 邻 域 构成 的 ,而 粒子 就 在 这 些 邻 域 之 内 相互 影响 。 因 
此 ,不 同 的 拓扑 结构 的 定义 将 影响 着 粒子 间 信 息 交 流 的 方式 和 信息 流通 的 速度 ,从 而 影响 
独自 法 的 性 能 。PSO 的 人 研究 者 普遍 都 认为 拓扑 结构 对 算法 有 者 重 要 的 影响 ,并 且 提 出 了 
众多 的 改进 方案 ,希望 设计 出 性 能 更 好 的 算法 。 图 6. 8 对 关于 PSO 拓扑 结构 改进 的 情况 
进行 了 分 类 与 总 结 。 


f 粒子 群 优化 算法 拓扑 结构 改进 版 本 一 览 图 i 
静态 拓扑 结构 动态 拓扑 结构 其 他 拓扑 结构 


逐步 增长 法 
Suganthan 1999 宪 会 趋同 法 
最 小 距离 法 Kennedy 2000 
Hu 和 Eberhart 2002 Fully Informed 
环 型 结构 重新 组 合法 Mendes 等 人 2004 


齿 形 结构 Liang 和 Suganthan 2005 广泛 学 习 策略 
金字 塔 结 构 随机 选择 法 Liang 等 人 2006 
汉 HR BZ Ry Kennedy = A 2006 ai 


图 6.8 粒子 群 优化 算法 拓扑 结构 改进 版 本 一 览 图 


1. 静态 拓扑 结构 

早 在 PSO 提出 之 初 ,Kennedy 和 Eberhart 就 已 经 注意 到 了 群体 的 拓扑 结构 对 算法 
的 性 能 有 着 重要 的 影响 。 他 们 在 1995 年 提出 PSO 的 时 候 就 提 到 了 全 局 版 本 
PSO( Global Version PSO,GPSO) 和 局 部 版 本 PSO(Local Version PSO,LPSO) 两 个 主要 
范式 (paradigm)"*]。 这 两 种 范式 的 主要 区 别 在 于 社会 网 络 结构 的 定义 的 不 同 。 在 
GPSO 中 ,整个 群体 构成 一 个 “社会 ”, 也 就 是 说 ,粒子 在 进行 速度 和 位 置 更 新 的 时 候 , 将 
会 使 用 自身 的 历史 最 好 位 置 pBest 和 整个 群体 中 最 好 的 位 置 gBest 作为 更 新 的 向 导 。 
而 在 LPSO 中 ,每 个 粒子 所 处 的 “社会 ”仅仅 是 一 个 小 的 邻 域 。 这 样 在 LPSO 版 本 中 , 粒 
子 在 进行 速度 和 位 置 更 新 的 时 候 , 除 了 使 用 自身 的 历史 最 好 位 置 pBest 之 外 ,还 要 使 用 
邻 域 中 的 最 好 位 置 1Best 作为 更 新 的 向 导 。 由 此 可 见 ,LPSO 中 能 够 被 用 作 更 新 间 导 的 
位 置 将 要 比 GPSO 要 多 (因为 在 LPSO 中 每 个 粒子 对 应 的 1Best 很 可 能 是 不 同 的 ,而 在 
GPSO 中 每 个 粒子 对 应 的 gBest 都 是 一 样 的 ) ,所 以 LPSO 的 多 样 性 更 好 ,往往 能 够 在 处 
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理 复 杂 的 问题 时 表现 出 比 GPSO 更 好 的 性 能 。 图 6.9 给 出 了 GPSO 和 LPSO 中 粒子 的 
更 新 示意 图 。 


在 全 局 版 本 PSO 中 , 每 个 粒子 受到 群体 中 在 局 部 版 本 PSO 中 ， 每 个 粒子 受到 其 邻 域 

最 优 的 粒子 gBest 的 影响 ， 因 此 所 有 粒子 结构 中 最 优 的 粒子 LBest 的 影响 ， 因 此 整个 

都 将 快速 趋向 该 全 局 最 优 解 。 但 是 这 种 群体 表现 出 更 好 的 多 样 性 ， 不 容易 受到 当 

快速 的 收敛 容易 导致 算法 落 和 局 部 最 优 前 全 局 最 优 解 的 过 分 影响 而 落 入 局 部 最 优 
GPSO LPSO 


6.9 GPSO 和 LPSO 中 粒子 的 更 新 示意 图 


2002 年 ,Kennedy 在 进化 计算 国际 会 议 CEC 上 发 表 了 文章 6 ,提出 了 例如 星 型 结 
构 、 环 型 结构 AI a 金字塔 结 构 . 冯 “. 诺 依 受 结构 等 等 不 同 的 拓扑 结构 ,并 且 比 较 了 
它们 在 PSO 中 的 性 能 。2006 Æ, Kennedy 和 Mendes”! th, Ki ix #6 Hi Fh SH RY HE Fully 
Informed 的 PSO 上 进行 了 测试 。 关 于 这 些 不 同 结构 的 特点 , 表 6. 4 进行 了 比较 和 总 结 。 
同时 ,图 6. 10 给 出 了 这 些 不 同 结构 的 示意 图 。 


表 6.4 不 同 拓扑 结构 特点 比较 


拓扑 名 称 结 构 特 点 
星 型 结构 任意 两 个 粒子 都 相互 连接 ,如 图 6. 10(a) 所 示 
环 型 结构 每 个 粒子 和 左右 两 个 粒子 相连 ,如 图 6. 10(b) 所 示 
齿 形 结构 邻 域 中 仅 有 一 个 粒子 作为 “焦点 ”, 和 其 他 粒子 相连 ,如 图 6.10(c) 所 示 
冯 。 诺 依 曼 结构 每 个 粒子 和 平面 网 格 中 的 上 下 左右 四 个 粒子 相连 ,如 图 6.10(d) 所 示 


2. 动态 拓扑 结构 

尽管 这 些 静 态 的 拓扑 结构 已 经 取得 了 很 好 的 人 研究 成 有 果 , 但 即使 是 LPSO ,也 不 能 解决 
PSO 容易 落 入 局 部 最 优 的 问题 。 人 研究 PSO 的 动态 拓扑 结构 是 希望 能 够 通过 在 不 同 的 进 
化 阶段 使 用 不 同 的 拓扑 结构 ,动态 地 改变 算法 的 探索 能 力 和 开发 能 力 ,在 保持 种 群 多 样 性 
和 算法 收敛 性 上 取得 动态 的 变化 和 平衡 ,以 提高 算法 的 整体 性 能 。 因 此 ,很 多 人 研究 者 也 致 


(a) 星 型 结构 (b) 环 型 结构 (c) 丙 形 结构 (d) 汉 * 施 依 曼 结构 


EE 人 全 局 版 本 PSO 和 局 部 版 本 PSO 的 收敛 特点 : 

(1) GPSO 由 于 其 很 高 的 连接 度 ,往往 具有 比 LPSO 更 快 的 收敛 速度 。 但是， 快速 的 收敛 也 让 GPSO 付出 了 多 样 性 迅 
速 降低 的 代价 

(2) LPSO 由 于 具有 更 好 的 多 样 性 ， 因 此 一 般 不 容易 沙 人 局 部 最 优 ， 在 处 理 多 峰 问 题 上 具有 更 好 的 性 能 

> 在 解决 具体 问题 的 时 候 ,可 以 遵循 以 下 一 些 规律 

(1) 邻 域 较 小 的 拓扑 结构 在 处 理 复 杂 的 、 多 峰值 的 问题 上 具有 优势 ， 例 如 环 型 结构 的 LPSO 

(2) 随 着 邻 域 的 扩大 ,算法 的 收敛 速度 将 会 加 快 ,这 对 简单 的 、 单 峰值 的 问题 非常 的 有 利 , 例如 GPSO 在 这 些 问题 上 
就 表现 很 好 

(3) 汉族 依 曼 结构 的 PSO 在 GPSO 和 LPSO 两 者 间 取 得 了 一 个 平衡 ， 适 合 大 多 数 问 题 的 求解 ， 而 且 具 有 良好 的 性 能 


图 6.10 不 同 拓扑 结构 的 示意 图 
力 于 研究 PSO 的 动态 拓扑 结构 。 其 中 比较 有 代表 性 的 有 Suganthant , Hu 和 
Eberhart Liang 和 Suganthan 等 人 中 提出 的 解决 方案 ,如 表 6.5 所 示 。 
表 6.5 粒子 群 优化 算法 动态 拓扑 结构 研究 一 览 表 


作 者 特 点 
Suganthan(1999)533] 逐步 增长 法 : 根据 进化 代数 将 其 邻居 从 粒子 自身 逐渐 扩大 到 整个 群体 
Hu 等 人 (20027534 最 小 距离 法 : 每 一 代 中 选择 m 个 “距离 ”最 近 的 粒子 作为 邻居 


Liang 4 A (2005)! 重新 组 合法 : 随机 分 成 多 个 小 种 群 进 化 了 一 定 代 数 后 重新 随机 组 合 ,继续 进化 
Kennedy 等 人 (2006) 随机 选择 法 : 随机 为 每 个 粒子 选择 K 个 粒子 (包括 自身 ) 作 为 邻 域 


此 外 ,包括 Kennedy, Clerc 和 Eberhart 等 在 内 的 一 些 人 研究 者 提出 了 一 种 “标准 的 
PSO 算法 ”, 读 者 可 以 通过 在 Particle Swarm Central 网 站 上 下 载 Standard PSO 2006 和 
Standard PSO_2007 的 源 代码 (http://www. particleswarm. info/Programs. html), iX 
里 的 Standard PSO 定义 了 一 种 随机 的 拓扑 结构 。 随 机 拓扑 结构 PSO(Random Topology 
PSO,RPSO) 为 每 个 粒子 定义 一 个 规模 为 kK 的 邻 域 ,该 邻 域内 的 个 体 是 从 整个 群体 中 随 
机 选择 的 (包括 粒子 本 号 )。 在 每 一 代 进 化 中 ,每 个 粒子 将 在 其 本 号 历史 最 优 位 置 和 其 对 
应 的 随机 拓扑 邻 域 中 的 最 优 位 置 的 影响 下 进行 速度 和 位 置 的 更 新 。 如 有 果 在 该 代 的 进化 中 
得 到 的 最 优 解 对 已 经 找到 的 全 局 最 优 解 有 所 改善 ,那么 这 些 拓扑 结构 将 不 会 发 生 改 变 而 
在 下 一 代 继 续 发 挥 作用 。 否 则 ,RPSO 将 在 下 一 代 中 对 每 个 粒子 重新 构造 其 随机 邻 域 ,以 
期 增强 粒子 的 搜索 能 力 ,提高 算法 的 性 能 。 因 此 ,RPSO 也 可 以 看 做 是 一 种 动态 拓扑 结构 
的 PSO, 

3. 其 他 拓扑 结构 

在 针对 PSO 的 拓扑 结构 的 众多 改进 版 本 中 ,除了 前 面 提 到 的 标准 的 静态 拓扑 结构 和 
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有 关 的 动态 拓扑 结构 之 外 ,还 存在 很 多 其 他 的 改进 版 本 ,我 们 将 一 些 典 型 的 改进 方案 列举 
在 表 6.6 中 。 


表 6.6 粒子 群 优化 算法 其 他 拓扑 结构 研究 一 览 表 
Kennedy 社会 趋同 法 (Social Stereotyping) 
Mendes 等 人 Fully Informed PSO 
Liang 等 人 广泛 学 习 策 略 CLPSO 


2004 L10] 


63.3 混合 算法 改进 


自 PSO 提出 以 来 ,研究 者 就 不 断 地 通过 将 PSO 算法 和 其 他 搜索 算法 或 者 思想 技术 
相 结合 ,形成 了 形形色色 的 关于 PSO 的 混合 算法 改进 版 本 。 这 些 混合 算法 要 么 融合 了 传 
统 进化 计算 中 的 有 关 算 子 ,例如 选择 算 子 .交叉 算 子 .变异 算 子 等 ,要 么 直接 与 其 他 一 些 搜 
索 算 法 相 结合 ,例如 模拟 退火 算法 .免疫 算法 .差分 进化 算法 .局 部 搜索 算法 等 。 另 外 ,还 
有 不 少 的 改进 形式 是 通过 使 用 一 些 数 学 .物理 学 .生物 学 等 相关 科学 的 一 些 技 术 手 段 对 原 
始 PSO 进行 改进 和 完善 。 图 6. 11 对 这 些 混 合算 法 进行 了 分 类 与 总 结 。 相 关 的 算法 特点 
和 参考 文献 如 表 6.7 所 示 。 
选择 算 子 


REF 
变异 算 子 


合 进化 算 子 的 改进 进化 规划 


进化 策略 
蚁 群 算法 


结合 模拟 退火 算法 
结合 人 工 免疫 算法 
混合 (混合 其 他 搜索 算法 的 改进 ， 结合 差分 进化 算法 
结合 局 部 搜索 算法 


单纯 性 技术 

函数 延伸 技术 

混沌 技术 
(混合 其 他 技术 的 改进 “) ea 

小 生境 技术 

物种 形成 技术 


粒 
十 
if 
优 
化 
算 
法 
混 
合 
算 
法 
改 
进 
版 
本 
vu 


图 6.11 粒子 群 优 化 算法 混合 算法 改进 版 本 一 览 图 
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120 计算 智能 


表 6.7 粒子 群 优化 算法 混合 算法 研究 一 览 表 


选择 算 子 


(Selection) 


混合 进 


变异 算 子 
(Mutation) 


结合 差分 进化 算法 


(Differential Evolution) 


结合 局 部 搜索 算法 
(Local Search) 


函数 延伸 技术 


(Function Stretching) 


混沌 技术 
(Chaos Technique) 


量子 技术 


(Quantum Technique) 


协同 技术 


(Cooperative Technique) 


小 生境 技术 
(Niche Technique) 


物种 形成 技术 
(Speciation Technique) 


Angeline(1998) 中 将 每 次 迭代 产生 的 新 的 粒子 群 根据 适应 函数 
进行 选择 ,用 适应 度 较 高 的 一 半 粒 子 的 位 置 和 速度 矢量 取代 适 
应 度 较 低 的 一 半 粒 子 的 相应 矢量 ,而 保持 后 者 个 体 极 值 不 变 


Lovbjerg 4 A.(2001)"*! ,Chen 等 人 (2007)00 


Andrews(2006) Xf PSO 中 混合 使 用 变异 算 子 的 算法 进行 了 较 
为 全 面 的 综述 和 比较 


Hendtlass(2001)! 引 对 同一 个 种 群 轮流 地 使 用 PSO 和 DE 进行 
优化 ,结果 表明 这 种 方式 比 单纯 的 PSO 具有 更 好 的 性 能 

Zhang 和 Xie(2003)' 针 对 粒子 的 历史 最 优 pBest 利用 差分 操作 
进行 扰动 ,有 点 类 似 于 变异 ,而 且 是 当 且 仅 当 扰动 后 的 位 置 比 当 
前 的 pBest 更 优 时 , 才 蔡 换 pBest 


Liang 和 Suganthan(2005)" 在 设计 动态 的 多 种 群 PSO 算法 的 时 
候 , 增 强 了 种 群 的 多 样 性 ,但 是 牺牲 了 快速 收敛 的 能 力 , 因 此 引入 
了 准 牛 顿 法 对 一 部 分 适应 值 较 好 的 1Best 执行 局 部 搜索 操作 


Parsopoulos 等 人 (2004)! 趾 将 自 适 应 改变 目标 函数 方法 用 到 了 
粒子 群 优化 算法 中 ,以 防止 粒子 群 优化 算法 返回 已 经 找到 的 局 
部 极 值 


Chuanwen 和 Bompard (2005)! LL Æ Coelho 和 BM Herrera 
(2007)5 ,使 用 混沌 技术 生成 PSO 相应 的 参数 ,包括 惯量 权重 
和 加 速 系数 等 

Liu 等 人 (2005)" 采取 混沌 技术 对 当前 的 最 优 位 置 进行 扰动 ,使 
得 最 优 解 质量 进一步 提高 


Sun 4 A.(2004)"*! 以 及 Mikki 和 Kishk(2006)09 分 别提 出 了 一 
种 具有 “量子 行为 "的 QDPSO ,他 们 的 算法 改变 了 传统 PSO 在 牛 
顿 空间 中 的 运动 形式 ,而 采用 了 量子 式 的 更 新 方式 对 粒子 的 位 
置 进 行 调整 和 优化 

Yang 等 人 (2004)59 将 量子 的 思想 应 用 于 二 进 制版 本 的 PSO 中 


Van den Bergh 和 Engelbrecht(2004)03 4% D 4E [a] 4} a D 个 独 
立 粒 子 群 中 ,每 个 粒子 群 优化 一 维 向 量 , 评 价 适应 值 时 将 分 量 合 
成 一 个 完整 癌 量 

Baskar 和 Suganthan( 2004)" 使 用 S 个 独立 的 粒子 群 , 其 中 前 
S-1 个 粒子 群 根 据 “ 本 粒子 群 ?迄今 搜索 到 的 最 优 解 来 更 新 群 中 粒 
子 的 速度 ,而 第 S 个 粒子 群 则 是 根据 “全 部 粒子 群 > 迄 今 搜 索 到 
的 最 优 解 更 新 群 中 粒子 的 速度 


Brits 等 人 (2002)52 和 (2007)53 提出 的 NichePSO 中 ,他 们 采用 
了 一 个 大 的 种 群 开始 在 问题 空间 中 寻 优 , 当 发 现 了 一 个 可 能 的 
最 优 解 或 者 局 部 最 优 解 的 时 候 , 种 群 自 适应 的 分 裂 , 让 一 小 部 分 
个 体 在 该 解 附近 形成 一 个 小 生境 继续 优化 ,而 剩 下 的 部 分 继续 
在 解 空间 中 寻 优 ,直到 发 现下 一 个 最 优 解 的 时 候 再 进行 自 适 应 
分 裂 , 通 过 这 样 的 方式 ,NichePSO 可 以 有 效 地 搜索 到 多 个 最 优 解 


Parrott 和 Li(2006)55 将 物种 形成 技术 融 人 到 了 PSO 算法 中 以 
求解 多 峰值 问题 和 跟踪 动态 环境 中 的 多 个 解 
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6.3.4 离散 版 本 改进 


虽然 PSO 是 一 个 非常 适合 于 连续 领域 问题 优化 的 算法 ,并 且 已 经 在 很 多 连续 空间 领 
域 获得 了 相当 成 功 的 应 用 ,但 是 很 多 现实 问题 都 是 定义 在 离散 空间 中 的 ,例如 典型 的 离散 
组 合 问题 就 有 整数 规划 问题 背包 问题 \ 皇 后 问题 \ 旅 行商 问题 ,调度 问题 \ 路 由 问题 等 。 
为 了 将 PSO 应 用 到 这 些 离散 组 合 问题 ,人 研究 者 也 在 不 断 地 尝试 将 PSO 离散 化 后 将 算法 
运用 到 离散 领域 (组 合 优化 ) 之 中 。 在 众多 的 离散 PSO 改进 版 本 中 ,二 进 制 编码 PSO 和 
整数 编码 PSO 是 常见 的 两 种 形式 ,为 外 还 有 一 些 其 他 的 改进 方案 也 相继 出 现 ,如 图 6. 12 
所 示 。 


二 进 制 编码 离散 版 本 整数 编码 离散 版 本 


Kennedy 和 Eberhart 19971551% 粒子 群 优化 算法 离 Salman 等 人 200259 将 粒子 的 
PSO 进行 了 离散 化 ， 形 成 了 二 散 形式 改进 版 本 一 位 置 变量 四 舍 五 和 人 为 最 接近 
进 制 编码 的 PSO(BPSO), 并 且 览 图 的 合法 的 离散 值 Yoshida 等 人 


在 对 De Jong 的 五 个 标准 测试 
国 数 的 测试 中 取得 较 好 的 效果 


20005"] 将 连续 的 值 域 分 区 间 ， 
为 每 个 区 间 赋 予 一 个 相应 的 离 


其 他 形式 离散 版 本 RCE 


Clerc200459 为 PSO 定义 了 合适 的 “加 减 乘 ” 法 而 实现 离散 化 ， 并 且 应 用 于 解决 旅行 商 问题 (TSP) 
Schoofs $i] Naudts200253?1 重 新 定义 了 PSO WY “HRR” 法 ， 并 且 应 用 到 了 约束 可 满足 问题 (CSP) 中 


Hu 等 人 20035 将 速度 定义 为 位 置 变量 相互 交换 的 概率 , 从 而 将 PSO 离散 化 并 成 功用 于 解决 皇后 问题 


图 6.12 粒子 群 优 化 算法 离散 形式 改进 版 本 一 览 图 


6.4 粒子 群 优化 算法 的 相关 应 用 


随 着 PSO 的 不 断 改 进 和 完善 ,PSO 被 众多 的 研究 者 应 用 到 了 越 来 越 多 的 领域 当中 。 
作为 连续 领域 的 优化 方法 ,PSO 基本 上 能 够 胜任 所 有 这 方面 的 应 用 。 很 多 已 经 在 遗传 算 
法 中 得 到 很 好 应 用 的 领域 在 采用 了 PSO 作为 优化 方法 之 后 ,都 取得 了 更 好 的 优化 效果 并 
上 且 提高 了 优化 速度 ,同时 也 降低 了 程序 的 复杂 度 ,使 得 算法 应 用 更 加 的 高 效 。PSO 最 早 
是 用 来 优化 神经 网 络 的 网 络 连接 权重 的 "2 ,目前 的 应 用 已 经 涉及 了 电力 系统 拯 ] .电磁 
学 "2 、 经 济 分 配 "6 、 医 学 图 像 配 准 5 、 多 目标 优化 595 BETO 、 机 器 学 习 与 训 
Byer ILOTILGS] Ar He PS Hh Bj PASEO 、 模 式 识别 "” aS Hs A RA EEO OO) 等 各 
个 领域 。 


641 优化 与 设计 应 用 


许多 实际 的 工程 与 实践 问题 本 质 上 是 也 数 优 化 问题 ,或 者 说 这 些 问 题 本 里 就 是 要 求 
进行 参数 的 设计 与 优化 ,因此 部 可 以 转换 为 函数 优化 问题 进行 求解 ,粒子 群 优化 算法 在 解 
决 这 些 问题 时 具有 天 然 的 优势 ,非常 适合 这 种 类 型 问题 的 求解 。 随 看 粒子 群 优化 算法 的 
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进一步 发 展 和 不 断 的 完善 ,其 在 越 来 越 多 的 工程 与 系统 设计 优化 问题 上 取得 了 相当 成 功 
的 应 用 。 如 表 6. 8 所 示 ,这 些 设计 优化 问题 主要 包括 : 神经 网 络 优化 .电磁 螺旋 管 优化 、 
AVR 单片机 系统 参数 优化 、 相 控 阵 控制 需 参 数 优化 .天线 设计 优化 .电力 系统 稳定 天 设 
TP PLS BOTT LRT aK a IT TR BC OS 


表 6.8 粒子 群 优化 算法 在 工程 与 系统 设计 优化 问题 中 的 应 用 


应 用 (中 文 ) 
神经 网 络 优化 


无 功 功 率 与 电压 控制 


电磁 螺旋 管 优 化 


电力 系统 稳定 器 参数 优化 
AVR 单片机 系统 参数 优化 
相 控 阵 控制 器 参数 优化 


PLR it Hi te 
放大 器 设计 优化 
天 线 设计 优化 
悬臂 粱 设计 
组 合 逻 辑 电 路 
电力 系统 稳定 器 


最 优 的 并 行 设计 系统 


鲁 棒 性 设计 
HIRE 
其 他 


642 调度 与 规划 应 用 

调度 (scheduling) 和 规划 (planning) 是 一 类 密切 影响 看 我 们 日 常生 活 的 优化 问题 , 例 
如 会 议 安排 \ 公 车 路 线 规 划 、 飞机 调度 等 。PSO 已 经 在 众多 的 调度 与 规划 问题 中 取得 了 
JES TH AY A. WE 6.9 所 示 。 


应 用 (中 文 ) 


经 济 调度 的 电力 系统 
发 电机 组 检修 计划 
业务 规划 

电力 系统 最 优 潮流 
输电 网 络 扩展 规划 
任务 分 配 
旅行 商 问题 

流 车 间 调 度 问题 
其 他 


表 6.9 粒子 群 优化 算法 在 调度 与 规划 问题 中 的 应 用 


Neural network optimization 


Reactive power and voltage control 


Electromagnetic Loney’s solenoid 


Power system stabilizers optimization 
AVR system parameters optimization 
Phased-Arrays control optimization 
Aircraft wing design 

Amplifiers 

Antenna design 

Cantilevered beam design 
Combinational circuits 

Power system stabilizers 

Optimal concurrent design system 
Robust design 

Truss optimization 


Others 


Economic dispatch in power systems 


Generator maintenance scheduling 


Operational planning 


Optimal power flow 


Power transmission network expansion planning 


Task assignment 


Traveling salesman problem 


Flow shop scheduling 


Others 
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643 其 他 方面 的 应 用 


粒子 群 优化 算法 的 应 用 领域 非常 广泛 ,如 表 6. 10 所 示 ,PSO 已 经 在 机 器 学 习 与 训 
练 `, 数 据 挖掘 与 分 类 .生物 与 医学 等 各 个 方面 都 取得 了 成 功 的 应 用 。 随 着 研究 者 对 算法 本 
身 不 断 地 改进 和 完善 以 及 对 算法 应 用 领域 的 不 断 探 索 ,PSO 算法 将 会 在 更 多 的 实践 领域 
中 发 挥 其 重要 的 作用 。 
表 6.10 粒子 群 优化 算法 在 其 他 方面 的 应 用 
机 器 学 习 与 训练 


。 Messerschmidt 和 Engelbrecht'!®! 使 用 PSO 对 用 于 博弈 的 神经 网 络 进行 训练 ,并 且 在 “ 零 和 博弈 ” 
游戏 tic-tack-toe 中 取得 成 功 的 应 用 

。 Franken 和 Engelbrecht! 将 基于 PSO 的 训练 方法 用 于 “ 非 零 和 博弈 ”游戏 囚徒 困境 中 

。 Papacostantis A‘! 将 基于 PSO 的 训练 方法 用 于 “概率 博弈 ”的 tic-tack-toe 游戏 中 


数据 挖掘 与 分 类 


。 Sousa 等 人 "首次 将 PSO 应 用 于 数据 挖掘 领域 ,他 们 的 目标 就 是 使 用 PSO 根据 一 个 给 定 的 数 
据 集 提取 一 组 最 简约 的 用 于 分 类 的 规则 
。 基于 PSO 的 数据 聚 类 方法 和 图 像 分 类 算法 也 在 不 断 地 提出 和 发 展 


生物 与 医学 应 用 

。 使 用 PSO 训练 神经 网 络 实现 对 医学 中 的 震颤 行为 进行 分 析 - 
。 使 用 PSO 实现 多 模 态 医学 图 像 配 准 " 

。 使 用 PSO 对 医药 Echinocandin B 的 生产 过 程 进行 优化 "3 


。 使 用 PSO 进行 多 序列 比 对 
。 使 用 PSO 实现 多 癌症 分 类 " 


其 他 方面 的 应 用 


6.5 ”粒子 群 优化 算法 的 参数 设置 


PSO 中 并 没有 许多 需要 调节 的 参数 ,下 面 列 出 了 这 些 参数 及 其 经 验 设 置 ,如 表 6. 11 
所 示 。 
表 6.11 粒子 群 优 化 算法 参数 经 验 设置 
参 数 参考 设置 V 表示 参数 的 意义 。 表示 参数 的 经 验 设置 


V ”影响 着 算法 的 搜索 能 力 和 计算 量 
PSO 对 种 群 规模 要 求 不 高 ,一 般 取 20~40 就 可 以 达到 很 好 的 求解 效果 中 


种 群 规模 N 。 Carlisle 和 Dozier” 的 研究 中 建议 将 N 设 为 30 

。 不 过 对 于 比较 难 的 问题 或 者 特定 类 别 的 问题 ,粒子 数 可 以 取 到 100 或 200 
粒子 的 长 度 D V 由 优化 问题 本 身 决 定 , 就 是 问题 解 的 长 度 
粒子 的 范围 R V 由 优化 问题 本 身 决定 ,每 一 维 可 以 设 定 不 同 的 范围 
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续 表 
参 K 参考 设置 V 表示 参数 的 意义 。 表 示 参 数 的 经 验 设置 
V 决定 粒子 每 一 次 的 最 大 移动 距离 ,制约 着 算法 的 探索 和 开发 能 力 
最 大 速度 Vinax 。 Yex 的 每 一 维 Vas. 一 般 可 以 取 相 应 维 搜索 空间 的 10% ~20% ,甚至 100% 


。 在 文献 L[98j 中 ,就 提出 了 一 种 将 Vs 按照 进化 代数 从 大 到 小 递减 的 设置 方案 


YY ”控制 着 前 一 速度 对 当前 速度 的 影响 ,用 于 平衡 算法 的 探索 和 开发 能 力 
。 一 般 设置 为 从 0. 9 线性 递减 到 0. 4 中 ,也 有 非 线 性 递减 的 设置 方案 


iia 可 以 采用 模糊 控制 的 方式 设 定 c% ,或 者 在 [0. 5，1. 0J EREI 
co BE 0.729 的 同时 将 cy 和 co 设 为 1. 49445, 有 利于 算法 的 收敛 cm 
《限制 粒子 的 飞行 速度 的 ,保证 算法 的 有 效 收 人 


Clerc 等 人 中 通过 数学 计算 得 到 x 取 值 0.729, 同 时 ck 和 co 设 为 2.05 


V 代表 了 粒子 向 自身 极 值 pBest 和 全 局 极 值 gBest 推进 的 加 速 权 值 
。 cl 和 cs 通常 都 等 于 2.0, 代 表 着 对 两 个 引导 方向 的 同等 重视 中 
加 速 系 数 c Me | 。 也 存在 一 些 c 和 co 不 相等 的 设置 ,但 其 范围 都 在 0 一 4 之 间 
。 将 a 线性 减少 ,c 线性 增 大 的 设置 能 动态 平衡 算法 的 多 样 性 和 收敛 性 
。 研究 对 cy 和 co 的 自 适应 调整 方案 对 算法 性 能 的 增强 有 重要 意义 "3 


V 决定 算法 运行 的 结束 ,由 具体 的 应 用 和 问题 本 身 确定 

。 将 最 大 循环 数 设 定 为 500、1000、5000, 或 者 最 大 的 函数 评估 次 数 等 

。 也 可 以 使 用 算法 求解 得 到 一 个 可 接受 的 解 作为 终止 条 件 

。 或 者 是 当 算 法 在 很 长 一 段 迭 代 中 没有 得 到 任何 改善 , 则 可 以 终止 算法 


V 决定 算法 如 何 选 择 两 种 版 本 的 粒子 群 优化 算法 一 一 全 局 版 PSO 和 局 部 
版 PSO 
全 局 和 局 部 PSO 。 全 局 版 本 PSO 速度 快 ,不 过 有 时 会 陷 人 局 部 最 优 
。 局 部 版 本 PSO 收敛 速度 慢 一 点 ,不 过 不 容易 陷入 局 部 最 优 
。 在 实际 应 用 中 ,可 以 根据 具体 问题 选择 具体 的 算法 版 本 


”两 种 更 新 方式 的 区 别 在 于 对 全 局 的 gBest 或 者 局 部 的 1Best 的 更 新 方式 

。 在 同步 更 新 方式 中 ,在 每 一 代 中 , 当 所 有 粒子 都 采用 当前 的 gBest 进行 速度 
和 位 置 的 更 新 之 后 才 对 粒子 进行 评估 ,更 新 各 目的 pBest, 再 选 最 好 的 
pBest 作为 新 的 gBest 

同步 和 异步 更 新 。 在 异步 更 新 方式 中 ,在 每 一 代 中 ,粒子 采用 当前 的 gBest 进行 速度 和 位 置 的 

更 新 ,然后 马上 评估 ,更 新 自己 的 pBest, 而 且 如 果 其 pBest 要 优 于 当前 的 
gBest , 则 立刻 更 新 gBest, 迅速 将 更 好 的 gBest 用 于 后 面 的 粒子 的 更 新 过 
程 中 

。 一 般 而 言 ,异步 更 新 的 PSO 具有 高 效 的 信息 传播 能 力 , 具 有 更 快 的 收敛 速度 


终止 条 件 


6.6 HEJM 


1. 请 指出 粒子 群 优化 算法 的 基本 思想 来 源 。 

2. 请 写 出 粒子 群 优 化 算法 执行 过 程 的 基本 步骤 。 

3. 粒子 群 优 化 算法 有 哪些 典型 的 拓扑 结构 ? 各 有 什么 优 缺 点 ? 

4. 如果 需要 对 PSO 的 拓扑 结构 设计 自 适应 的 动态 调整 方案 ,你 将 会 从 哪些 方面 进 
行 考虑 ? 
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5. 通过 查阅 相关 参考 文献 ,指出 PSO 在 混合 遗传 算法 的 选择 、 交 又 和 变异 算 子 的 时 


候 , 有 哪些 典型 的 混合 手段 。 


6. 阅读 参考 文献 [55 ] ,理解 Kennedy 和 Eberhart F 1997 年 提出 的 二 进 制 离散 版 本 


PSO 的 算法 原理 和 执行 过 程 。 


[1] 


[2] 


[3] 


[4] 


L5] 
L6] 


[7] 


L8] 


L9] 


[10] 


[11] 


[12] 


[13] 


[14] 


[15] 


[16] 


7. 请 分 别 列举 出 PSO 在 工程 与 系统 设计 .调度 与 规划 等 问题 上 的 一 些 具 体 应 用 。 
8. 粒子 群 优化 算法 中 惯量 权重 参数 o 对 算法 性 能 有 什么 影响 ? 有 哪些 设置 方案 ? 
9. 粒子 群 优化 算法 的 同步 更 新 版 本 和 异步 更 新 版 本 有 什么 区 别 ? 

10. 上 机 编写 完整 的 PSO 程序 ,实现 对 例 6. 1 完整 的 求解 。 
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普通 高 校本 科 计 算 机 专业 


及 肤 破裂 出 血 后 我 们 的 喘 体能 目 己 疾 鳃 。 在 伤口 
痊愈 的 这 段 时 间 我 们 会 发 现 伤 口 有 红肿 发 热 的 炎症 出 
现 ， 这 残 是 我 们 号 体 的 免疫 系统 在 运转 的 标 坊 ， 而 免 
疫 系统 执行 免疫 功能 主要 依靠 淋巴 细胞 。 


BTA ,注射 疫 淋巴 细胞 
摆 可 以 有 效 预 
防 HIN1. 


z 


(iL a — BERE A RER. HE ISA A a EIS E 
JAERI To AERE KR EENE. 能 使 人 体 在 再 次 起 到 这 种 流 
感 病毒 时 产生 免疫 。 


人 流感 病毒 O 
Ot 2s 
| A se REEL aE 


ww 商 流感 病毒 Pa 

免疫 算法 (Immune Algorithm, IA) ÆA 
们 借鉴 免疫 系统 的 记忆 、 学 习 、 目 我 识别 
等 性 质 ， 并 建立 相应 的 数学 模型 ， 从 而 设 
计 出 的 解决 一 些 实际 问题 的 算法 。 


免疫 系统 (Immune System,IS) 是 脊椎 动物 和 人 类 的 防御 系统 ,是 机 体 执 行 免 疫 功 
能 一 一 识别 非 目 体 物 质 ( 通 稼 是 病原 微生物 或 异体 组 织 等 ) ,从 而 将 之 消灭 .排除 一 一 的 天 
官 , 组 织 、 细 胞 和 分 子 的 总 称 。 把 免疫 系统 的 生物 学 原理 应 用 到 计算 机 科学 中 就 有 了 人 免疫 
算法 (Immune Algorithm, IA), 

本 划 将 介绍 免疫 算法 ,从 算法 的 思想 来 源 、 数 学 模型 .基本 流程 改进 版 本 、 算 法 应 用 
等 各 个 方面 为 读者 展示 免疫 算法 的 有 关 知 识 。 具 体 包 括 如 下 的 内 容 : 

。 免疫 算法 的 免疫 学 原理 ; 

。 免疫 算法 的 数学 模型 ; 

。 免疫 算法 的 基本 流程 ; 

。 免疫 算法 的 改进 版 本 ; 

。 免疫 算法 的 实际 应 用 。 


7.1 免疫 算法 简介 


71.1 BAAR 


我 们 的 生活 环境 充满 了 各 种 细菌 、 病 毒 \ 传 染 性 微生物 与 各 种 污染 物质 ,但 我 们 平常 
为 什么 能 保持 健康 呢 ? 原因 就 是 人 体 的 免疫 系统 (Immune System,IS) 在 保护 着 我 们 。 
免疫 系统 能 抵御 日 常生 活 中 的 绝 大 多 数 病原 体 , 使 我 们 保持 健康 。 更 重要 的 是 免疫 系统 
还 有 记忆 功能 , 当 我 们 得 过 某 种 疾病 后 ,系统 就 会 生成 专门 的 记忆 细胞 记 住 那些 触发 疾病 
的 病原 体 , 细 天 再 次 人 侵 的 时 候 身 体 就 有 了 免疫 力 。 当 然 这 些 疾病 的 记忆 细胞 也 可 以 通 
过 注射 疫苗 获得 ,记忆 细胞 不 仅 能 记 住 曾经 和 人 侵 的 病原 体 , 对 类 似 的 其 他 疾病 也 能 起 到 一 
定 的 免疫 效果 。 

由 于 免疫 系统 具有 学 习性 5 ,记忆 性 和 模式 识别 性 ,研究 人 员 开 始 考虑 把 免疫 系统 
信息 处 理 的 思想 移植 到 数学 和 工程 学 领域 并 建立 相应 的 信息 处 理 技 术 和 计算 机 系统 ,由 
此 产生 了 了 人工 免疫 系统 (Artificial Immune System. AIS), WHEAT HIE KZN EBT. 
作 分 成 两 部 分 : 建立 模型 和 算法 应 用 。 其 中 最 令 人 关注 的 是 研究 方向 是 设计 通用 或 专用 
的 免疫 算法 ,以 满足 数学 .生物 学 .工程 学 等 领域 实际 计算 问题 的 需要 。 

免疫 算法 (Immune Algorithm,IA) 是 指 以 人 工 免 疫 系 统 的 理论 为 基础 ,在 体 细 胞 理 
论 和 网 络 理论 的 司 发 下 ,实现 的 类 似 于 生物 免疫 系统 的 抗原 识别 、 细 胞 分 化 .记忆 和 目 我 
调节 功能 的 一 类 算法 。 如 有 果 将 免疫 算法 与 求解 优化 问题 的 一 般 搜 索 方法 相 比 较 , 那 么 抗 
原 、 抗 体 、 抗 原 和 抗体 之 间 的 亲 和 性 分 别 对 应 于 优化 问题 的 目标 函数 ,优化 解 . 解 与 目标 隔 

免疫 算法 最 先 起 源 于 1973—1976 年 间 Jerne 的 三 篇 关于 免疫 网 络 的 文章 站] Jerne 
在 文中 提出 了 一 组 基于 免疫 独特 型 的 微分 方程 ,这 就 是 最 早 的 免疫 系统 。1986 年 
Farmer' 和 在 此 基础 上 提出 了 基于 网 络 的 二 进 制 的 免疫 系统 ,重点 是 通过 描述 抗体 和 抗 
原 ,抗体 和 抗体 之 间 的 关系 阐述 了 系统 是 如 何 根据 实际 问题 (抗原 的 独特 型 ) 而 学 习 和 记 
忆 的 。 他 还 探讨 了 免疫 系统 与 其 他 人 工 镶 能 方法 的 联系 , 开 司 了 人 工 免 疫 系统 全 究 的 热 
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潮 。 但 是 在 20 世纪 80 年 代 人 研究 免疫 系统 的 人 还 不 多 ,直到 1996 年 12 月 ,在 日 本 举行 了 
首次 基于 免疫 性 系统 的 国际 专题 讨论 会 ,首次 提出 了 “人 工人 免疫 系统 ”(AIS) 的 概念 。 随 
后 ,人 工 免 疫 系 统 进入 了 兴盛 发 展 时 期 ,Dasgupta 和 焦 李 成 等 归 认 为 人 工人 免疫 系统 已 经 
成 为 人 工 千 能 领域 的 理论 和 应 用 人 研究 热点 ,相关 论文 和 人 研 究 成 末 正 在 逐年 增加 。1997 年 
和 1998 年 IEEE 国际 会 议 还 组 织 了 相关 专题 讨论 ,并 成 立 了 “人 工人 免疫 系统 及 应 用 分 
会 "~。 鉴 于 人 工人 免疫 系统 的 研究 开始 成 为 热点 ,人 们 在 2002 年 组 织 了 人 工 免疫 系统 国际 
ZN (International Conference on Artificial Immune Systems,ICARIS) ,此 后 这 个 会 议 每 
年 举行 一 次 。 这 个 会 议 也 是 目前 AIS 研究 领域 最 有 影 啊 力 的 会 议 , 人 们 可 以 在 会 议 材 料 
中 找到 大 量 AIS 在 应 用 领域 的 文章 ,还 可 以 找到 AIS 的 算法 和 其 他 理论 研究 的 最 新 成 
果 。 关 于 ICARIS 的 最 新 信息 可 以 在 这 个 网 站 看 到 (http://www. artificial-immune- 
systems. org/index. shtml) ,这 个 网 站 也 是 AIS 研究 的 权威 网 站 。 


712 免疫 系统 的 生物 学 原理 简介 


从 人 的 角度 讲 , 人 免疫 的 主要 作用 就 是 帮助 人 体 自 号 的 免疫 系统 抵制 由 病毒 和 细菌 引 
起 的 疾病 ,从 生物 学 角度 讲 , 人 免疫 或 免疫 接种 是 强化 一 个 个 体 抵 御 外 部 个 体 的 能 力 的 

人 体 免 疫 系统 是 怎么 对 抗 病菌 的 呢 ? 我 们 在 图 7. 1 中 给 出 了 免疫 系统 层次 防御 示意 
图 。 为 了 了 解 免 疫 系统 的 工作 原理 ,我 们 首先 对 以 下 的 一 些 名 词 进行 解释 。 


病原 体 


皮肤 
生理 学 环境 >< 
ane O 
SE Eme 
Y 
后 天 性 al 
免疫 应 答 
B 淋巴 细胞 


图 7.1 免疫 系统 层次 示意 图 


抗原 : 被 免疫 系统 看 做 异体 ,引起 免疫 反应 的 分 子 。 
抗体 : 免疫 系统 用 来 鉴别 和 移植 外 援 物质 的 一 种 重 日 质 复合 体 。 每 种 抗体 只 识别 特 
定 的 目标 抗原 。 
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淋巴 细胞 : 免疫 系统 中 起 主要 作用 的 微小 日 细胞 ,包括 B 细胞 和 抗体 ,TT 细胞 和 细胞 
因子 以 及 日 然 杀 伤 细胞 。 

B 细胞 : EPRE B 淋巴 细胞 ,在 骨 艇 分 化 成 熟 , 人 免疫 系统 的 本 质 部 分 。 

TT 细胞: EPRE T 淋巴 细胞 ,在 胸腺 分 化 成 熟 , 按 功能 可 以 分 为 细胞 毒 T 细胞 
(cytotoxic T cell) ,辅助 T 细胞 (helper T cell) ,调节 /抑制 工 细 胞 (regulatory/suppressor 
T cell) 和 记忆 工 细 胞 Cmemory T cell), 

亲和力 : 抗体 和 抗原 ,抗体 和 抗体 之 间 的 相似 程度 。 

现在 ,我 们 再 来 看 图 7. 1。 该 图 是 人 体 免 疫 系 统 三 个 层次 的 示意 图 。 第 一 层次 是 皮 
肤 .粘膜 等 物理 屏障 ,能 够 阻挡 大 部 分 的 病原 体 。 但 是 如 果 有 些 病 原 体 突破 了 第 一 层 防 
御 ,侵入 人 体 后 ,它们 首先 被 噬 菌 细胞 发 现 , 这 些 细 胞 物 如 其 名 地 知 叭 病菌 并 把 病菌 肢解 
成 小 块 送 到 淋巴 结 , 由 辅助 工 细 胞 Chelp Tcel, 蝗 血球 的 一 种 ) 识 别 病 梢 的 特征 ,然后 告 
诉 人 体 的 淋巴 细胞 这 些 入 侵 敌 人 的 性 质 。 这 时 也 细胞 将 被 激活 转化 成 浆 细 胞 ,充当 病菌 
杀手 的 作用 。 如 果 人 体 已 经 有 细胞 感染 了 病毒 ,就 由 细胞 毒 T 细胞 负责 将 其 分 解 和 消 
灭 。 最 后 病菌 被 消 炙 了 ,B 细胞 和 人 工 细 胞 中 有 杀 死 该 病 阔 能 力 的 细胞 被 分 解 , 留 下 B 记 
忆 细 胞 和 人 工 记 忆 细 胞 把 这 些 病菌 的 片段 (也 就 是 抗原 ) 记 忆 下 来 ,继续 监视 病菌 的 下 次 
入侵 。 


7.1.3 二 进 制 模型 


1986 年 Farmer“ 以 免疫 网 络 为 原型 提出 了 免疫 系统 模型 (二进制 ), 为 了 抓 住 
Jerne'213 提 出 的 独特 型 网 络 的 本 质 ,Farmer 忽略 了 工 细 胞 ` 巨 叭 细胞 等 免疫 系统 重要 元 
素 ,把 重心 放 在 B 细胞 表层 的 抗体 和 抗原 之 间 的 机 制 上 。 抗 体 的 简单 结构 如 图 7. 2 所 
IR ,每 个 抗体 都 有 抗体 决定 得 和 抗原 决定 基 。 和 实际 免疫 系统 一 样 ,抗体 和 抗原 的 亲 和 程 
度 由 它 的 抗体 决定 复 和 抗原 的 决定 基 的 匹配 程度 决定 。 同 时 抗体 还 有 抗原 决定 基 , 它 对 
其 他 的 抗体 来 说 也 是 一 个 特殊 的 “抗原 ”, 它 们 之 间 的 亲 和 度 由 它 的 抗原 决定 基 和 其 他 抗 


抗体 抗体 上 表现 型 
Cr Pk 


rroro1010 Pf oon 


图 7.2 B 细 胞 抗体 结构 图 
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体 的 抗体 决定 簇 的 匹配 程度 决定 。 在 模型 中 Farmer 首先 用 二 进 制 串 表示 那些 描述 了 抗 
体 决 定 徐 和 抗原 决定 基 性 质 的 氨基 酸 序列 ,然后 假设 每 个 抗原 和 每 个 抗体 型 分 别 只 有 一 
个 抗原 决定 复 ( 实 际 它 们 都 有 许多 不 同类 型 的 抗原 决定 基 )。 通 过 这 些 决定 基 之 间 的 匹配 
程度 控制 不 同类 型 抗体 的 复制 和 减少 ,以 达到 优化 系统 的 目的 。 

二 进 制 模型 模仿 了 免疫 系统 的 工作 原理 ,主要 涉及 识别 和 刺激 两 方面 的 内 容 。 

识别 : 每 个 抗体 可 以 用 (e,p) 的 二 进 制 串 表示 ,匹配 通过 计算 两 个 串 之 间 的 互补 字符 
个 数 1 决定 ,e 表示 抗原 决定 基 ,p 表示 抗体 决定 秘 , 它 们 的 长 度 分 别 是 Lly (所 有 的 抗体 
或 抗原 的 这 两 个 长 度 均 相同 ) ,s 表示 一 个 匹配 阔 值 , 当 s 三 min{fz ,ly} 时 免疫 反应 发 生 , 亦 
称 两 串 相 互 识别 ,否则 不 发 生 反 应 。 设 e;(n) 表 示 第 i 个 抗原 决定 基 的 第 nn 位 ,p;(n) 表 示 
第 i 个 抗体 决定 徐 的 第 n 位 。 串 匹配 的 运算 用 异 或 运算 符 “^”( 两 个 0 一 1 字符 不 相同 返 
回 1, 相 同 返回 0) ,匹配 特异 矩阵 为 : 

ms = >) G( Dien +k) A pi(m—st+1) (7.1) 


s 表示 匹配 的 国 值 ,& 表示 串 之 间 的 错位 长 度 ,” 表 示 串 的 具体 哪 位 ,; 和 7 表示 具体 哪个 
抗体 或 抗原 的 某 种 决定 基 ( 族 ) ,其 中 : 
Ge = 5 oe (7. 2) 
0, «<0 
要 根据 公式 (7.1) 算 出 mm; 必须 求 出 & 的 所 有 情况 之 和 ,但 实际 上 大 可 不 必 , 如 图 7.3 
所 示 , 只 需求 一 2 三 k 三 2 的 情况 即 可 。 图 7. 3 所 示 的 是 抗体 i 的 抗体 决定 徐 和 抗体 j 的 抗 
原 决定 基 在 k= 二 一 1 时 的 匹配 情况 。 这 个 时 候 i 的 抗体 决定 徐 和 j 的 抗原 决定 基 之 间 共 
有 6 个 互补 字符 。 所 以 如 果 定 义 匹 配 阔 值 ;二 6 则 两 个 串 不 相互 匹配 ,否则 相互 匹配 。 


ei 


Pi 
oo olor 
loliolllollolo ~ | 
ej 


Pj 


图 7.3 抗体 ;的 抗体 决定 复 和 抗体 7 的 抗原 决定 基 在 k= 二 一 1 时 的 匹配 情况 


模型 还 指出 当 一 个 也 淋巴 细胞 识别 一 个 抗原 决定 基 时 , 它 受 到 刺激 并 分 裂 , 产 生 更 
多 表面 附着 相同 抗体 类 型 的 B 淋巴 细胞 (此 处 简化 免疫 学 的 原理 ,把 自由 抗体 和 B 细胞 
的 抗体 集中 ) 。 

刺激 : 前 面 所 说 的 二 进 制 串 之 间 的 匹配 ,其 目的 是 为 了 刺激 新 的 抗体 的 生成 。 文 献 L4] 
以 两 个 抗体 的 相互 识别 为 例 ,抗体 A 的 抗体 决定 簇 能 识别 ( 即 匹 配 个 数 1 大 于 国 值 ;) 抗 
体 B 的 抗原 决定 基 , 首 先导 致 抗体 A 以 固定 概率 大 量 繁殖 ,同时 逐渐 清除 抗体 B。 这 样 
就 通过 抗体 决定 簇 和 抗原 决定 基 之 间 的 作用 控制 了 一 类 抗体 的 复制 和 另 一 类 抗体 的 
消亡 。 

下 面 建立 相应 的 微分 方程 模型 的 , 设 N 种 类 型 的 抗体 ,浓度 为 {zi re ott or, } on 种 类 
型 的 抗原 ,浓度 为 {y ,y,，…,y} ,这 里 的 浓度 就 是 某 类 抗体 或 抗原 的 具体 数量 。 那 么 抗 
体 浓度 的 变化 方程 为 : 
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N N N 
x; = c| Š mazz; — kı Di myxiz; + Dj mpxiy; |— box, (7,3) 
j=l j=l j=l 


此 处 1 二 1,… ,n,m 表示 抗体 i MAR j Cok et Ue 力 在 匹配 特异 矩阵 特定 位 置 的 值 。 
公式 (7.3) 各 部 分 的 作用 如 图 7.4 所 示 。 


-~ ZTN ZTN PP 
| 


N A ` N H N nf ` / \ 
X= CLG KAM ty oY kr) (7.3) 
j=l 4 JFN > UN 7 ~ / 


~~ — _ 


;型 抗体 的 抗体 决定 族 受 到 7 随 大 时 间 的 推移 , 含有 抗体 
型 抗体 的 抗原 决定 基 的 刺激 细胞 以 ky 决定 的 速率 减少 


i 型 抗体 的 抗原 决定 基 被 j i 型 抗体 的 抗体 受到 型 
型 抗体 的 抗体 决定 簇 识别 抗原 的 抗原 决定 基 的 刺 
后 ， 对 i 抗体 的 抑制 激 , 即 抗原 驱动 


图 7.4 免疫 系统 的 微分 方程 模型 各 部 分 的 作用 


模型 的 基本 要 素 是 : 当前 列 出 的 抗原 和 抗体 类 型 都 是 动态 变化 的 ,会 随 着 新 的 类 型 
而 增加 或 减少 。 同 时 公式 (7.3) 中 的 N 和 也 是 随时 间 变 化 的 ,当然 它们 变化 的 速度 分 
别 远 小 于 浓度 x: M y: 的 变化 速度 。 抗 体 和 抗原 的 动态 调整 规则 分 别 如 图 7. 5 和 图 7. 6 
TAN o 


抗体 的 浓度 是 
否 低 于 国 值 


E 一 是 否 需要 淋巴 细 


低 浓 度 抗原 类 型 死亡 


对 抗体 决定 族 和 抗原 


决定 基 使 用 以 下 遗传 RIEDE 


类 型 的 死亡 


否 20 AY N Æ 


过 去 消失 的 抗原 重复 
出 现 或 用 遗传 算 子 生 


成 新 的 抗原 


图 7.5 抗体 调整 流程 图 图 7.6 抗原 调整 流程 图 


第 7 章 ”免疫 算法 


抗原 和 抗体 类 型 的 自我 更 新 是 一 个 十 分 重要 的 性 质 , 有 了 这 个 性 质 系 统 才能 用 有 限 
的 已 知 细胞 搜索 新 的 空间 。 抗 体 的 初始 化 采用 随机 的 方法 ,而 抗原 的 初始 化 可 以 用 随机 
化 方法 也 可 以 用 某 种 指定 的 策略 。 系 统 同 时 具有 “人 免疫 遗忘 ”和 “免疫 记忆 ”的 功能 。 免 疫 
遗忘 是 指 经 过 一 定时 间 没 有 被 使 用 的 分 子 将 被 消除 。 人 免疫 记忆 根据 的 免疫 学 原理 是 病原 
体 被 消灭 后 ,B 细胞 也 进入 休眠 状态 ,但 是 抗原 仍然 能 被 记忆 很 长 的 时 间 ( 现 实生 活 中 具 
体 的 抗原 能 被 记忆 多 长 的 时 间 , 对 于 医学 工作 者 仍然 是 未 解 之 谜 )。 通 过 独特 型 网 络 , 文 
献 [4] 给 出 了 模型 具有 记忆 能 力 的 最 好 的 解释 ,图 7.7 详细 地 解释 了 抗体 是 怎么 通过 形成 
记忆 环 记 住 抗 原 的 。 假 设 抗体 集合 Ab, 表示 所 有 识别 抗原 的 抗体 ,Ap 表示 所 有 能 识别 
Ab, 的 抗原 决定 基 的 抗体 集合 ，……… Ab, 表示 所 有 能 识别 A5,-1 的 抗体 决定 基 的 抗体 集 
合 ,最 后 Ab, 的 抗原 决定 基 又 能 被 Ab1 的 抗体 决定 徐 所 识别 ,那么 即使 没有 抗原 ,抗原 的 
形状 也 会 被 记忆 在 Ab, 中。 
抗体 


通过 一 个 长 度 为 4 的 抗体 相互 识别 的 环 , eo 被 抗体 记 住 


图 7.7 抗体 记忆 环 


7.2 人 免疫 算法 的 基本 流程 


72.1 基本 流程 


免疫 系统 虽然 早 在 20 世纪 70 年 代 就 已 经 被 人 们 提出 ,但 是 一 直到 20 世纪 90 年 代 
日 本 的 Kazuyuki Mori 等 人 5 最早 提出 免疫 算法 ,而 韩国 的 Jang-Sung Chun 等 人 95 对 
免疫 算法 的 研究 取得 了 突破 性 的 进展 。 本 小 节 首 先 给 出 免疫 系统 和 免疫 算法 的 联系 
( 表 7.1)! ,然后 介绍 公认 的 免疫 算法 的 流程 图 ,最 后 结合 文献 L11] 对 算法 的 每 一 步 进行 
具体 分 析 ,使 读者 明白 运用 免疫 算法 求解 最 优化 问题 的 大 致 过程 。 
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表 7.1 免疫 系统 和 免疫 算法 的 比较 


免疫 系统 免疫 算法 
抗原 要 求解 的 问题 
抗体 最 佳 解 问 量 
抗原 识别 问题 识别 
从 记忆 细胞 产生 抗体 联想 过 去 的 成 功 解 
淋巴 细胞 分 化 (记忆 细胞 分 化 ) 维持 最 优 解 
T 细胞 抑制 消除 多 余 的 候选 解 
抗体 生命 增加 (细胞 克隆 ) 用 遗传 算 子 生成 新 的 抗体 


算法 是 针对 一 般 优化 问题 提出 的 ,免疫 
算法 的 基本 流程 图 如 图 7.8 所 示 。 人 免疫 算法 
假设 抗原 (目标 函数 ) 有 一 个 ,抗体 (最 优化 
解 ) 有 若干 个 ,抗体 的 性 质 被 统一 到 一 个 长 度 
为 M( 和 具体 问题 有 关 ) 的 独特 型 串 中 ,例如 
第 v 个 抗体 的 独特 型 串 为 {abl ab? ,… ,ab™”)。 
算法 将 通过 抗体 和 抗体 ,以 及 抗体 和 抗原 之 
间 的 亲 和 度 来 控制 抗体 的 新 陈 代谢 过 程 , 达 
到 免疫 系统 的 记忆 、 学 习 和 自 适 应 的 功能 ,以 
实现 果 数 优化 。 基 本 的 免疫 算法 主要 包括 以 
下 七 个 方面 的 要 素 。 

1. 识别 抗体 3 

把 目标 函数 和 约束 作为 抗体 。 

2. 生成 初始 化 的 抗体 

随机 生成 独特 型 串 维 数 为 M 的 NN 个 


抗原 识别 
初始 抗体 产生 


杀 和 力 计 算 
抗体 产生 的 促进 和 抑制 


记忆 细胞 分 化 


抗体 。 图 7.8 免疫 算法 流程 图 
3. 计算 亲 和 度 
(1) 抗体 v 和 抗原 的 亲 和 度 为 ax.: 
Cu 一 E (7.4) 


其 中 opt, 表示 抗体 v 和 抗原 的 结合 强度 ,对 最 优化 问题 ,可 以 用 抗体 v 的 独特 型 的 解 和 
已 知 的 最 优 解 的 相似 程度 表示 ,例如 对 函数 f= a? +23 +22,2,€[—10, 10],i 二 1,2,3， 
求 最 小 值 ,已 知 的 最 优 解 是 0, 那 么 抗体 v 9 opt, 就 是 其 所 代表 的 解 在 该 函数 下 的 适应 
值 。 若 是 一 个 最 大 化 问题 , 则 opt, = 。 其 中 /是 最 优 解 的 适应 值 ,f, 是 抗体 


v 的 适应 值 。 
(2) 抗体 v 和 抗体 w 的 亲 和 度 为 : 


l 


AY vw 一 1 二 EC2) & a) 
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HEP EODH v 和 ww 的 平均 信息 焙 。 通 过 这 些 平均 信息 炉 , 算 法 实现 了 多 样 化 。 下 面 简 单 介 
绍 一 下 信息 焙 。 基 因 的 信息 烂 如 图 7. 9 所 示 。 
免疫 系统 有 N 个 抗体 ,有 M 个 基因 (或 独特 
型 串 的 长 度 为 M), 第 7 个 基因 的 信息 炉 为 
E,(N): : 


| | 
N | | 
EN) = 2) ploges 0 wuts] ||| i fan] ST] 
i=l 
| 
| 


| | 


其 中 KK 表示 独特 型 串 的 字母 表 的 长 度 , 奉 为 二 进 
制 数 就 是 2, 表示 选择 第 i 个 抗体 的 第 j 位 等 | 


位 基因 的 概率 ,很 明显 2 ps = 1, 所 以 代表 多 


\ / 


\/ 
M 
E(N) = >> E,(N) (7.7) 图 7.9 ARAB 
j=l 


4. 记忆 细胞 分 化 

与 抗原 有 最 大 亲 和 度 的 抗体 加 入 了 记忆 细胞 。 由 于 记忆 细胞 数目 有 限 ,因此 新 生成 
的 抗体 将 会 代 蔡 记忆 细胞 中 和 它 有 最 大 亲和力 者 。 

5. 抗体 促进 和 抑制 

通过 计算 抗体 wv 的 期 望 值 ,消除 那些 低 期 望 值 的 抗体 。 稀 单 地 说 本 步 又 就 是 促进 融 
亲 和 度 、 低 密度 的 个 体 。 抗 体 wv 的 期 望 值 e。 的 计算 公式 为 : 


aL y 


a= Cy, 8) 
其 中 抗体 v 的 密度 的 计算 法 方法 如 下 : 


c, —— (7.9) 


其 中 gq, 表示 和 抗体 & 有 较 大 亲和力 的 抗体 。 通 过 这 个 公式 能 有 效 地 抑制 抗体 的 过 分 相 
似 , 避 免 算法 的 未 成 熟 收敛 。 

6. 产生 新 的 抗体 

根据 不 同 抗体 和 抗原 亲和力 的 高 低 , 使 用 轮 盘 赌 的 方法 ,选择 两 个 抗体 。 然 后 把 这 两 
个 抗体 按 一 定 变异 概率 做 变异 ,之 后 再 做 交叉 ,得 到 新 的 抗体 。 重 复 操作 步骤 6 直到 产生 
所 有 N 个 新 抗体 。 可 以 说 免疫 算法 产生 新 的 抗体 的 过 程 需要 遗传 算 子 的 辅助 。 

7. 结束 条 件 

如 果 求 出 的 最 优 解 满足 一 定 的 结束 条 件 , 则 结束 算法 。 
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7.2.1 小 节 详 细 介 绍 了 Jang-Sung Chun 等 人 改进 的 基本 免疫 算法 ,但 是 这 个 算法 目 
前 还 只 能 应 对 单 目标 的 最 优化 问题 ,本 节 将 介绍 如 何 将 原 有 的 基本 免疫 算法 扩展 到 更 多 
的 问题 上 。 


1. 求解 多 目标 优化 问题 的 免疫 算法 
对 于 多 目标 优化 问题 ,可 以 把 抗原 扩展 到 工 个 (L 和 具体 的 目标 数目 相等 ) ,并 把 抗 
体 v 和 抗原 xw 的 亲 和 度 az... BPE LH: 


一 
1 + Opti. 


其 中 opt... NTA v 和 抗原 w N25 A oR RE . BUCA v Æ H bp PR we AP TY iP AUE PR A ae 
优 解 的 接近 程度 ,至 于 算法 的 其 他 步骤 ,变化 不 大 。 

2. 求解 更 一 般 问 题 的 免疫 算法 

为 了 求解 更 多 的 问题 ,需要 对 抗原 的 基因 型 进行 和 抗体 一 样 的 编码 。 这 里 首先 简单 
介绍 免疫 系统 的 形态 空间 模型 中 ,图 7. 10 中 
e 表示 抗体 , X 表示 抗 原 ,V。 是 抗体 可 识别 的 
空间 ,e 是 识别 空间 的 半径 ,V 则 是 包含 所 有 抗 
原 的 空间 。 

根据 图 7.10, 一 个 抗体 可 以 识别 在 其 识别 
空间 内 的 所 有 抗原 ,同时 抗原 也 能 被 不 同类 型 
的 抗体 所 识别 ,因此 有 限 的 抗原 一 定 能 被 有 限 
的 抗体 所 识别 。 

假设 在 形态 空间 内 ,抗体 v 和 抗原 的 坐标 
分 别 为 {abl sab? +++ ,abM } Ail{ag' ag stag” y, 
v 王 1,… ,NN, 那 么 它们 之 间 的 距离 如 下 。 

Manhattan 距离 : 


(7. 10) 


aL ow 


M 
= | >) |abi —ag'| (7.11) 
i=] 
Euclidean 距离 : 
D= (7.12) 
Hamming 距离 : 
x 1, abi, Fag’ 
b= 二 二 | | (7. 13) 
二 ] 0， 其 他 


选用 哪个 距离 公式 和 具体 问题 有 关 , 也 和 使 用 者 假设 的 空间 有 关 。 
同 理 可 以 求 出 抗体 之 间 的 距离 ,然后 只 需 改 变 上 一 节 的 步骤 6 中 亲 和 度 的 计算 公式 ， 
就 可 以 扩展 到 求 一 般 问 题 的 免疫 算法 。 此 时 亲 和 度 的 计算 公式 如 下 : 


l 


aY vw 一 1+H.. (7. ii») 
Hp t 为 抗体 ww 和 抗原 的 距离 , 互 ,. 为 抗体 w 和 抗体 w 的 距离 。 
形态 空间 模型 下 的 基本 免疫 算法 在 其 他 的 部 分 都 没有 变化 , 均 和 Jang-Sung Chun 的 
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基于 烂 的 基本 免疫 算法 相同 。 当 抗原 不 止 一 个 时 ,也 可 以 用 上 面 所 讲 的 求 多 目标 问题 的 
扩展 方法 对 算法 进行 必要 的 修改 。 


7.3 BARBRA 


73.1 负 选 择 算 法 


1994 年 , Forrest5 写 根据 免疫 系统 的 自体 - 非 自 体 识 别 原理 ,提出 了 负 选 择 算 法 
(Negative Selection Algorithm ,NSA) 。 免 疫 系统 能 识别 非 自体 依靠 的 是 工 细胞 表面 的 
受 体 ,这 些 受 体 和 所 有 的 自体 ( 吴 体 的 需 官 ,组 织 和 细胞 ) 都 是 不 相 匹 配 的 ,如 果 接 收 顺 和 
某 个 蛋白 质 分 子 匹配 , 即 可 以 认为 它 是 非 自 体 ,并 消灭 之 。 

在 文献 L12j] 中 ,虽然 作者 最 初 用 全 细胞 的 负 选 择 思想 实现 了 计算 机 病毒 检测 的 实 
验 , 但 是 由 此 产生 的 算法 还 可 以 运用 于 模式 识别 .分 类 等 许多 领域 。 就 像 前 面 所 阐述 的 那 
样 ,我 们 把 要 识别 并 保护 的 文件 (或 数据 ) 作 为 目 体 (Self) ,在 程序 中 可 以 假设 它们 是 一 个 
字符 串 的 集合 SOWA BEA n) ,具有 识别 功能 的 接收 响 作 为 检测 天 (Detector) 即 抗体 ， 
在 程序 中 可 以 假设 为 一 个 字符 串 的 集合 尺 ( 所 有 串 长 为 2) ,算法 的 主要 目的 是 先 求 一 个 
和 SARER 集合 ,然后 用 尺 集合 判断 S 集合 是 否 发 生 了 变化 。 

算法 分 成 两 步 , 第 一 步 是 初始 化 ,初始 化 一 个 等 长 度 的 串 集合 S 作为 自体 (一 个 受 保 
护 的 集合 ) ,然后 初始 化 串 集 合 Ro ,选择 其 中 不 和 S 集合 中 任何 串 匹 配 ( 关 于 匹配 的 原则 
会 在 本 小 节 的 后 面 提 到 ) 的 串 保 留 下 来 ,其 余 的 舍弃 ,成 为 新 的 串 集 合 尺 , 即 监 测 细 。 初 始 


os i at R 的 过 程 如 图 7.11 所 示 。 


把 Ro 中 不 和 5 中 任何 的 串 匹 配 的 
IMA RR. VEJ HW at 


图 7.11 pee He ee i a R 


RIE AD ER CA AE S 随机 变异 某 些 字 节 或 某 些 部 分 ,然后 用 监测 需 RAL 
的 串 集 合 S 做 匹配 运算 ,如 果 两 个 集合 有 匹配 的 串 被 找到 , 则 算法 结束 并 报告 探测 到 保 
护 数据 S 被 感染 ( 即 S 已 经 不 是 自体 ); 如 有 果 找 不 到 , 则 本 次 算法 失败 。 监视 保 护 数据 S 的 
过 程 如 图 7.12 Bras. 

还 有 一 点 需要 注意 的 是 ,两 个 字符 串 采 用 部 分 匹配 的 方法 检测 是 否 发 生 匹 配 , 即 当量 
仅 当 两 个 串 至 少 有 ro 个 连续 位 取 值 相同 时 ,我 们 称 这 两 个 串 匹 配 。 例 如 

S:abcdefx 


T: amndefx 


Ye 没有 探测 到 
探测 到 非 自 体 


图 7.12 监视 保护 数据 S 


上 面 两 个 串 S 和 T 荆 的 最 大 连续 匹配 长 度 为 3, 车 匹配 国 值 三 3 则 S 和 T 工 匹配 ,否则 就 不 
DU WC 。 

负 选 择 算 法 的 主要 性 质 呈 是: 第 一 ,所 有 监测 器 独立 行使 职能 而 不 需要 交流 ,通过 多 
个 监测 器 可 以 覆盖 非 自 体 各 个 不 同 部 分 。 第 二 ,如 果 假 设 一 个 封闭 世界 和 自体 完整 规定 ， 
通过 仔细 地 选择 监测 器 就 不 会 有 错误 肯定 的 情况 ,而且 本 算法 不 会 有 错误 否定 的 机 会 。 
目前 本 算法 已 经 在 信息 处 理 、 免 疫 自 适应 研究 和 解决 计算 机 领域 一 些 悬 而 未 决 的 难题 上 
得 到 广泛 的 运用 ,其 中 Dasgupta 和 Forrest 提出 了 用 负 选 择 算 法 判断 一 般 时 间 系 列 数 
据 中 的 异常 。 总 的 来 说 , 负 选 择 算 法 在 判断 系统 是 否 正常 工作 方面 有 十 分 显著 的 优势 , 它 
提供 的 思想 可 以 融合 到 别 的 算法 里 发 挥 新 的 功效 。 


73.2 克隆 选择 算法 


根据 Farmer' 生 所 描述 的 ,每 个 BB 淋巴 细胞 的 表面 能 产生 大 约 105 个 抗体 ,这 些 抗体 都 
有 作为 监测 右 的 独特 的 抗体 决定 簇 探测 是 否 有 与 之 匹配 的 抗原 决定 基 。 如 果 某 个 BB 淋 
巴 细胞 探测 到 和 它 相 匹配 (匹配 就 是 可 以 相互 识别 , 详 见 7.1.3 小 节 二 进 制 模型 ) 的 抗原 
决定 基 , 就 会 诱导 系统 复制 出 更 多 同类 型 的 B 淋巴 细胞 来 ,当然 也 产生 更 多 的 相应 的 抗 
体 。 这 种 只 刺激 有 用 抗体 的 B 淋 巴 细 胞 的 复制 过 程 就 是 克隆 选择 。 

图 7.13 简单 地 勾画 了 克隆 选择 原理 ,抗原 的 抗原 决定 基 的 表现 型 为 {1110011})， 
在 抗体 中 仅 有 2 号 和 它 完 美 匹配 ,7 号 是 部 分 匹配 ,所 以 骨髓 刺激 2 号 抗体 大 量 繁 殖 ， 
7 号 抗体 少量 繁殖 ,而 其 他 的 抗体 则 不 再 分 裂 ,等待 细 胞 的 死亡 。 在 这 个 原理 的 基础 
上 ,De Castro' 站 提出 了 克隆 选择 算法 ,他 只 关注 抗体 和 抗原 的 亲 和 度 对 B 细胞 的 复制 
的 影响 ,而 不 考虑 抗体 之 间 的 亲 和 度 ,所 以 后 面 讲 述 的 克隆 选择 算法 都 不 要 求 抗体 之 
间 的 亲 和 度 。 我 们 先 给 出 其 流程 图 ,然后 对 各 部 分 进行 分 析 。 其 中 元 隆 算 法 有 下 面 几 
个 要 点 [J[9]， 
保持 功能 性 的 记忆 细胞 从 指令 系统 分 离 ; 
受 刺激 性 最 强 的 个 体 的 选择 和 克隆 ; 


。 不 受 刺 激 的 个 体 的 死亡 ; 
。 亲 和 度 的 成 熟 和 高 亲 和 度 克隆 分 子 的 再 选择 ; 
。 产生 和 维持 多 样 性 ; 


和 细胞 亲 和 度 成 比例 的 高 频 变异 。 
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图 7.13 克隆 选择 原理 


如 图 7. 14 所 示 ,克隆 选择 算法 (Clone Selection Algorithm,CSA) 分 为 六 个 部 分 : 


图 7.14 克隆 选择 算法 流程 图 


C1) 产生 候选 解 集 PP, 它 由 记忆 细胞 子 集 M 和 剩余 群体 P, 组 成 , 即 P= P,+M; 

(2) 根据 亲 和 度 的 计算 ,从 P PRE n 个 最 好 的 个 体 组 成 集合 Pns 

(3) 克隆 P, 中 的 所 有 个 个 体 ,产生 一 个 临时 的 克隆 群体 C, 这 个 群体 C 的 规模 是 
PEIRA AIRE RE T HME IH PK ŽC 


(4) 群体 C 经 过 与 抗原 亲 和 度 成 比例 的 高 频 变 异 ,形成 一 个 成 熟 的 群体 C” ; 

(5) 在 C 中 重 选择 改进 个 体 组 成 记忆 集合 。 已 集合 中 的 一 些 成 员 能 够 被 C ” 的 其 他 
成 员 所 取代 ; 

(6) 取代 群体 P 中 4 个 亲 和 度 最 低 的 抗体 ,维持 多 样 性 。 

2002 年 De Castro“ 在 原来 的 论文 轨 的 基础 上 ,继续 改进 克隆 选择 算法 以 求解 模式 
识别 和 优化 问题 。 算 法 假设 在 形态 空间 下 ,表示 抗体 和 抗原 基因 型 的 字符 串 长 度 均 为 工 ， 
而 S 表示 形态 空间 的 合适 坐标 轴 。 下 面 先 来 定义 一 组 变量 : 

。 Ab: 可 用 抗体 表 (ADE SN ,AD=Ab,,, U Abin); 

© Abim: 记忆 抗体 表 (Abim ES”, mN); 

。 Abin: 剩余 抗体 表 (Ap ES™YIi,r = N—m); 

e Agim: 被 识别 的 抗原 群 (Agw i 

。 fj: 和 抗原 Ag; 相关 的 亲 和 度 向量 ; 

。 Abin: Ab PHA Ag; 有 最 高 亲 和 度 的 nn 个 抗体 (Abi, E S™' ,n 三 NN); 

e C: APbi,) 中 NN, 个 克隆 体 组 成 的 群体 (C’E€ SNE); 

。 Os C 经 过 亲 和 度 成 熟 ( 高 频 变异 ) 后 转变 成 的 群体 ; 

© Abin: Abiy P d 个 低 亲 和 度 的 抗体 被 C ”里面 d 个 分 子 取代 (Ap ES ,ds 三; 

。 Ab; : 准备 放 入 记忆 抗体 的 来 自 C* 中 的 抗体 。 

文献 [14] 的 克隆 选择 算法 给 出 了 二 进 制 字 符 识 别 问 题 和 优化 问题 的 流程 ,下 面 将 对 
它们 分 别 进行 介绍 。 死 隆 选择 算法 模式 识别 流程 图 如 图 7. 15 所 示 。 

1. 二 进 制 字符 识别 问题 

第 1 步 , 随 机 选择 一 个 抗原 Ag; (Ag;E€ Ag) 让 它 刺 激 抗体 集合 Ab=Ab,,, U Abim (Cr 十 
m 二 N) 中 所 有 抗体 ; 

第 2 步 ,计算 Ab P N 个 抗体 的 亲 和 度 向 量 方 ; 

第 3 步 ,选择 Ab 中 和 抗原 Ag; 亲 和 度 最 高 的 n 个 抗体 组 成 新 的 集合 Apfw ; 

第 4 步 ,Abi,) 集 合 的 抗体 会 根据 它们 各 自 亲 和 度 的 高 低 依 照 一 定 比 例 产 生 新 的 元 隆 
体 , 组 成 克隆 体 的 集合 C Abin 的 这 个 抗体 和 抗原 的 亲 和 度 越 高 ,它们 自己 的 克隆 体 
越 多 ; 

第 5 步 , 集 合 C 的 所 有 抗体 经 过 和 亲 和 度 相关 的 变异 过 程 产生 成 熟 的 殉 隆 体 集合 
C” , 杀 和 度 越 高 ,抗体 变异 率 越 低 ; 

第 6 A IG MA ERG C ”和 抗原 Ag; AME 万 ; 

第 7 步 , 重 新 选择 集合 C 的 克隆 体 中 和 Ag; 亲 和 度 最 高 的 一 个 抗体 放 入 记忆 细胞 
集合 Ab {m} 中 ,如 果 这 个 抗体 对 抗原 Ag, 的 亲 和 度 高 于 原 有 的 记忆 细胞 , 则 取代 之 ; 

第 8 步 , 用 C 的 4 个 抗体 取代 Ab1, 集 合 中 和 抗原 Ag, 亲 和 度 最 低 的 d 个 抗体 。 

当 所 有 的 M 个 抗原 都 执行 过 一 次 上 面 的 过 程 后 ,我 们 就 称 算法 执行 了 一 代 , 图 7. 16 
用 流程 图 和 伪 代 码 的 方式 重新 诠释 了 上 述 过 程 。 而 且 在 上 面 算法 第 3 步 后 ,n 个 亲 和 度 
最 高 的 抗体 将 被 按照 亲 和 度 从 高 到 低 排序 ,这 样 它 们 具体 的 克隆 体 数量 可 以 用 下 面 的 公 
式 计算 : 
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图 7.15 克隆 选择 算法 模式 识别 流程 图 图 7.16 克隆 选择 算法 优化 问题 流程 图 
N. = >) round (5) (7.16) 
i=] 


其 中 N. 是 克隆 体 集合 C’ 的 抗体 总 数 ,8 EP I TB A round C + ) JE BUR ph AC. XTE 
和 度 最 高 的 抗体 , 即 它 的 下 标 为 ;= 王 1, 如 果 8=1、N=100, 那 么 这 个 抗体 需要 克隆 100 个 ， 
此 时 排名 第 二 高 的 抗体 需要 克隆 50 个 。 

2. 优化 问题 

克隆 选择 算法 仅仅 需要 做 一 些 很 小 的 改变 ,就 能 将 上 面 求 模 式 识 别 的 流程 运用 到 求 
最 优化 问题 中 ,如 图 7.16 所 示 , 对 单 目 标 优化 问题 ,具体 的 改变 有 : 

d) 第 1 步 ,没有 明确 的 需要 识别 的 抗原 ,而 是 需要 最 优化 的 一 个 目标 函数 g(。)。 
抗体 对 抗原 的 亲 和 度 可 以 看 做 目标 函数 的 解 : 每 个 抗体 Ab: 表示 一 个 输入 空间 的 元 素 。 
此 外 ,抗体 集合 Ab 的 全 体 抗 体 都 作为 记忆 细胞 ,没有 必要 维护 一 个 单独 的 集合 Abim To 

(2) 在 第 7 步 ,n 个 抗体 从 C* 中 被 选 出 来 形成 新 的 集合 A2, 而 不 必 选 择 一 个 最 佳 个 
体 Ab* 。 
如 果 想 用 一 个 抗体 群 确定 问题 的 多 个 最 优 值 ,还 需要 确定 两 个 变量 : 
(1) 设 定 z= 一 N, 即 A2 中 所 有 抗体 在 第 3 步 都 被 选 来 殉 隆 。 

(2) 按 下 面 公 式 确定 Abin 中 抗体 克隆 的 数目 


N, = >) round (Bx N) (7.17) 


即 Ab 中 所 有 抗体 的 克隆 体 数量 都 是 一 样 多 的 , 亲 和 度 仅仅 影响 变异 的 概率 。 在 第 5 步 
中 , 亲 和 度 越 高 的 克隆 体 ,变异 概率 越 低 。 
CSA09I 有 执行 学 习 和 维持 高 记忆 性 的 能 力 ,还 有 极 强 的 全 局 搜索 能 力 , 它 能 解决 复 
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杂 的 工程 问题 ,例如 多 峰 困 数 优化 和 组 合 优化 问题 。De Castro 称 上 面 的 两 种 算法 为 
CLONALG ,算法 最 初 用 来 完成 机 器 学 习 和 模式 识别 的 任务 ,其 中 输入 的 模式 被 当做 可 以 
识别 的 抗原 。 由 于 算法 的 进化 特性 , 它 还 能 求解 优化 问题 ,特别 是 多 峰 ( 男 数 ) 问 题 。 对 一 
个 给 定 输入 优化 得 到 的 函数 值 可 以 当做 对 抗原 的 亲 和 度 。 在 算法 看 来 ,B 细胞 和 它们 的 
受 体 没有 区 别 , 这 样 编排 和 细胞 重 排 的 过 程 就 是 一 样 的 ,它们 都 导致 了 算法 的 多 样 性 , 拓 
宽 了 亲 和 度 的 探索 范围 。 许 多 启发 式 算 子 如 某 种 特殊 的 变异 可 以 根据 具体 的 问题 而 变 
化 ,以 改进 结果 。 通 过 和 遗传 算法 的 比较 以 及 对 计算 结果 的 分 析 , De Castro 等 人 认为 
CSA 能 保持 局 部 优化 解 的 多 样 性 ,而 遗传 算法 趋 回 于 把 整个 群体 绷 最 佳 解 的 方 回 发展。 
之 所 以 如 此 是 因为 CSA 的 选择 和 有 再 生产 机 制 以 及 CSA 的 第 2.3 步 。 从 本 质 上 说 CSA 
和 GA 的 编码 方式 没有 区 别 , 但 是 它们 的 进化 搜索 过 程 在 不 同 局 发 原型 .词汇 和 基本 步 又 
上 却 是 不 同 的 。 目 前 还 不 能 证 明 CSA 比 GA 的 性 能 更 佳 ,但 是 CSA 算法 已 经 被 应 用 在 
分 类 、 多 目标 优化 和 模拟 复杂 自 适 应 系统 等 方面 2 ,在 图 像 处 理 避 .电磁 学 ”1 、 和 蛋白 质 结 
构 预 测 中 等 方面 CSA 也 得 到 了 一 定 的 应 用 。 


73.3 免疫 算法 和 进化 计算 


遗传 算法 (Genetic Algorithm, GA)" 产生 于 20 世纪 70 年 代 , 由 于 其 算法 步骤 简 

单 ,健壮 性 强 , 具 有 学 习性 和 并 行 计算 的 功能 等 多 种 特点 ,在 工程 领域 已 经 得 到 充分 的 利 
用 。 但 是 遗传 算法 也 面临 着 许多 亟待 解决 的 问题 ,例如 如 何 控制 收敛 方向 ,如 何 使 算法 有 
记忆 功能 ,如 何 把 前 一 代 的 性 质 有 效 地 遗传 

到 下 一 代 , 如何 把 遗传 算法 和 问题 的 解 空间 

相对 应 等 。 为 了 解决 这 些 问 题 ,学 者 们 提出 

了 免疫 遗传 算法 (Immune Genetic 
Algorithm, IGA) , 焦 李 成 2 对 IGA 的 建立 

做 了 有 建设 性 的 工作 ,为 了 和 免疫 系统 的 知 
识 对 应 ,在 文献 [18] 的 算法 里 把 种 群 的 每 个 

<a 个 体 看 做 一 个 抗体 ,把 抗原 看 做 求解 的 问题 ， 
k 把 适应 度 看 做 和 抗原 的 亲 和 度 ,把 个 体 的 基 
交叉 因 表现 型 看 做 抗体 的 抗体 决定 簇 , 即 抗体 字 


: 


符 串 。IGA 流程 图 如 图 7. 17 所 示 。 免 疫 遗 
传 算法 的 具体 步骤 如 下 ， 
注射 疫苗 (1) 创建 初始 随机 种 群 Ai ; 

(2) 根据 先 验 知 识 抽取 疫苗 ; 
(3) 如 果 当 前 群体 A GE k OUA RI 
个 体 则 停止 算法 ,否则 继续 ; 

(4) 对 A, 执行 交叉 操作 形成 临时 群 
tk B, 


(5) 对 B 执行 变异 操作 形成 新 的 临时 
图 7.17 免疫 遗传 算法 流程 图 HKC; 
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(6) 对 C 注射 疫苗 产生 Da; 

(7) 对 Dy 执行 免疫 选择 产生 成 熟 的 下 一 代 群 体 A ,然后 返回 步骤 (3 )。 

IGA 和 GA 最 大 的 不 同 之 处 在 于 两 个 地 方 "5 : 

(1) 注射 疫苗 : 所 谓 疫 苗 就 是 一 个 个 体 随 机 变异 铬 干 位 得 到 的 变异 体 ,是 根据 先 验 
知识 得 到 的 ,有 和 较 高 的 概率 得 到 更 高 的 适应 度 。 这 个 算 子 有 两 个 基本 条 件 : 第 一 ,变异 后 
的 个 体 所 有 位 置 的 字符 均 和 最 优 解 不 同 ,那么 变异 成 这 个 新 个 体 的 概率 为 0; 第 二 ,变异 
后 的 个 体 所 有 位 置 的 字符 均 和 最 优 解 相同 ,那么 变异 成 这 个 新 个 体 的 概率 为 1。 假 定 一 
个 群体 C= {ai 225° ,x,) ,将 有 nn 个 抗体 (其 中 二 nx*a) 从 群体 里 被 选 出 注射 疫苗 ,其 
中 a€(0, 1)。 

(2) 免疫 选择 : 这 个 算 子 也 分 为 两 步 : 第 一 步 称 为 免疫 测试 ,如 果 新 的 个 体 适 应 度 不 
如 老 的 个 体 , 则 还 是 用 老 的 个 体 参加 后 面 的 运算 ,否则 就 用 新 的 个 体 ; 第 二 步 , 称 为 退火 选 
择 , 在 当前 的 后 代 群 体 中 根据 公式 (7.18) 用 轮 盘 赌 的 思想 选择 一 个 个 体 r (i 二 1,…,n) 放 
入 新 的 父 种 群 Ar Po 


ef )/T, 


p(x) =—e (7. 18) 


2 ef(z/T, 
i=] 


其 中 f(x;) 是 个 体 x; EME, T, EAA F 0 的 温度 变量 。 

IGA 是 将 遗传 算法 和 免疫 系统 结合 而 产生 的 ,具有 两 者 的 优点 , 既 继承 了 遗传 算法 
的 健壮 性 、 自 适应 性 和 并 行 计算 性 ,又 有 免疫 算法 的 记忆 性 、 学 习性 和 自体 非 自 体 识别 
性 ,今后 必然 在 工程 和 研究 领域 有 更 深远 的 应 用 。 

虽然 免疫 算法 的 基本 原理 相当 复杂 ,但 是 研究 表明 我 们 可 以 抽取 其 中 茶 些 方面 做 算 
法 的 融合 ,而 且 免 疫 算 法 具有 很 强 的 融合 性 5 ,和 蚁 群 算法 "粒子 群 算法 "路 等 多 种 进化 


其 涉及 的 内 容 十 分 繁杂 ,这 里 就 不 再 详细 介绍 ,有 兴趣 的 读者 可 以 参考 文献 L5]、L9]。 

最 后 介绍 免疫 算法 的 分 类 ,根据 Dasguptal?™ 的 描述 免疫 算法 可 以 分 为 三 种 : 基于 人 工 
免疫 网 络 的 算法 、 负 选择 算法 .区 隆 选择 算法 。 加 上 近年 来 开始 流行 的 和 其 他 现代 算法 融合 
的 混合 算法 ,就 一 共有 四 种 。 基 于 网 络 的 免疫 算法 最 早 由 Jerne 提出 ,然后 经 过 Farmer“ 和 
De Castro!) 的 先后 完善 和 发 展 , 逐 渐 演 变 成 以 基本 免疫 算法 ( 见 7. 2. 1 节 基 本 流程 ) 为 主 
要 框架 ,以 Ab-Ag 相互 作用 为 基本 原理 的 算法 ,也 是 目前 应 用 最 广 , 研 究 最 深入 ,最 有 研究 
价值 的 算法 。 而 所 谓 的 混合 算法 是 指 把 免疫 算法 的 思想 融和 人 其 他 计算 智能 算法 (如 人 工 神 
经 网 络 , 蚁 群 算法 等 ) 形 成 的 新 算法 。 图 7. 18 简单 地 把 免疫 算法 分 成 了 四 种 类 型 。 


免疫 算法 


图 7.18 免疫 算法 的 分 类 
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计算 智能 


7.4 免疫 算法 的 相关 应 用 


20 世纪 90 年 代 后 , 随 着 成 熟 的 免疫 模型 的 建立 ,以 及 研究 人 员 对 免疫 学 原理 了 解 的 
深入 ,免疫 算法 不 再 是 一 个 单纯 的 理论 模型 , 它 以 其 独特 的 学 习性 .记忆 性 和 目 体 一 非 自 
体 识别 性 等 多 种 出 色 的 性 能 ,在 工程 应 用 领域 也 发 挥 着 日 益 重 要 的 作用 。 其 中 比较 有 参 
考 价值 的 综述 类 的 文献 有 [5]、[7]、[9]、[L21]。 


74.1 识别 和 分 类 应 用 


早期 的 免疫 系统 模型 是 为 了 识别 计算 机 病毒 而 设计 出 来 的 ,由 于 免疫 系统 强大 的 
识别 功能 ,在 识别 问题 上 免疫 算法 得 到 了 广泛 的 运用 。 模 式 识别 是 通过 计算 机 用 数学 技 
术 的 方法 来 研究 模式 的 自动 处 理 和 判 谈 ,简单 地 说 模式 识别 就 是 指导 计算 机 像 人 类 一 样 
具有 自动 的 对 环境 和 客体 的 感知 能 力 。 识 别 的 一 个 基本 问题 就 是 区 分 自体 和 非 自 体 , 这 
也 是 免疫 系统 消灭 病原 体 的 一 个 必然 的 过 程 ,所 以 免疫 算法 也 成 为 模式 识别 领域 的 研究 
热点 。 最 早 的 免疫 克隆 算法 就 是 用 于 字符 识别 问题 的 纪 ,另外 在 模式 识别 问题 上 Hunt 
和 Cooke 于 1996 年 提出 的 骨 艇 模型 2 也 备 受 人 们 关注 。 分 类 就 是 把 已 知性 质 的 一 个 群 
体 划 分 成 不 同 的 子 集 , 聚 类 就 是 在 不 知道 具体 参数 对 性 质 影 响 的 时 候 把 群体 中 的 个 体 按 
照 个 体 参 数 的 相似 度 划 分 成 不 同 的 子 集 。 人 免疫 算法 在 识别 和 分 类 中 的 应 用 如 表 7. 2 
所 示 。 


表 7.2 免疫 算法 在 识别 和 分 类 中 的 应 用 


计算 机 安全 Computer Security [1][12][21]~[27] 
模式 识别 Pattern Recognition C7]L13]L28]~[L31] 
分 类 Classification [31][32]~[35] 

聚 类 Cluster [36jL37] 

车 辆 图 Vehicle Image [38 ] 

卫星 图 Satellite Image [39 ] 

指纹 图 Fingerprint Image [40 | 

导航 Robot Navigation [41] 

音频 Sound [42] 

医学 Medical [43 ]}~[46] 


其 他 Others ps 


74.2 优化 应 用 


许多 实际 的 工程 与 实践 问题 本 质 上 是 函数 优化 问题 ,或 者 这 些 问题 本 号 就 是 要 求 进 
行 参数 的 设计 与 优化 ,因此 都 可 以 转换 为 函数 优化 问题 进行 求解 。 由 于 淋巴 细胞 具有 很 
强 的 学 习 和 记忆 功能 ,免疫 算法 应 用 于 优化 和 设计 上 的 也 不 少 。 调 度 (Scheduling) 和 规 
划 (Planning) 是 一 类 密切 影响 着 我 们 日 常生 活 的 优化 问题 ,例如 会 议 安 排 , 公 车 路 线 规 
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划 、 飞 机 调度 等 。CSA JIGA 等 免疫 算法 已 经 在 众多 的 调度 与 规划 问题 上 取得 了 非常 成 
功 的 应 用 。 从 数学 的 角度 讲 , 这 些 调 度 .规划 问题 属于 组 合 优化 问题 的 范畴 ,都 是 优化 问 
题 。 免 疫 算 法 在 优化 问题 中 的 应 用 如 表 7. 3 所 示 。 


表 7.3 免疫 算法 在 优化 问题 中 的 应 用 


旅行 商 问题 Traveling Salesman Problem [7]jL13j[L18j 

调度 问题 Scheduling [20][47][48][49】] 
HIV 治疗 HIV Therapy [50] 

信和 号 处 理 Signal Process [51] 

电磁 学 Electromagnetic [52] 

同步 发 动机 Synchronous Motor [53] 

健壮 性 设计 Robust Design [54] 

随机 优化 Stochastic Optimization [55] 

多 目标 优化 Multiobjective Optimization [56 ] 


其 他 Others | 


743 其 他 方面 的 应 用 
免疫 算法 的 应 用 领域 非常 广泛 ,如 表 7.4 所 示 , 免 疫 算法 已 经 在 机 天 学 习 与 训练 、 数 
据 挖掘 与 分 类 等 各 个 方面 都 取得 了 成 功 的 应 用 。 随 独 人 钱 究 者 对 算法 本 身 不 断 地 改进 和 有 完 
善 以 及 对 算法 应 用 领域 的 不 断 探索 ,人 免疫 算法 将 会 在 更 多 的 实践 领域 中 发 挥 其 重要 的 
EH. 
表 7.4 免疫 算法 在 其 他 方面 的 应 用 


机 器 人 学 习 和 控制 Robot Learning and Control [13 ][57][58] [59] 
数据 挖掘 Data Mining [33jL60j[L61 | 
75 ASDA 


1. 请 指出 免疫 算法 的 基本 思想 来 源 。 
2. 请 指出 免疫 算法 执行 过 程 的 基本 步骤 。 
3. 编写 程序 实现 基本 免疫 算法 ,求解 如 下 男 数 优化 问题 : 
min f(x) = Dz, x; E [— 10,10], i= 1,*…,30 


4， 理 解 负 选择 算法 的 原理 并 了 解 遗传 免疫 算法 的 过 程 。 
5. 通过 查阅 相关 参考 文献 ,实现 克隆 选择 算法 求解 TSP 问题 ,例如 berlin52 问题 。 
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分 布 估计 算法 


遗传 算法 在 求解 如 果 从 整体 上 把 握 种 群 的 分 

某 些 高 维 复杂 的 问题 布 规律 ， 就 可 以 获得 更 可 靠 的 信 
时 性 能 不 太 好 ， 有 什 g 恩 来 引导 算法 未 来 的 搜索 。 基 于 
么 好 的 解决 办 法 呢 ? 这 个 假设 ， 我 们 上 站 先 构建 当前 种 
如 果 我 们 把 整个 种 群 群 中 较 优 种 群 的 分 布 模型 ， 然 后 
的 分 布 规律 分 析出 来 ， 根据 这 个 模型 可 以 产生 出 整体 质 
是 不 是 可 以 用 来 提高 量 更 高 的 新 种 群 。 如 此 反复 ,种 
算法 的 性 能 呢 ? 群 的 整体 质量 将 不 断 得 到 提高 ， 
从 而 逐步 搜索 出 全 局 最 优 解 。 分 

布 估计 算法 (Estimation of Distri- 

bution Algorithms ，EDA) 即 是 基 

于 这 种 思想 的 新 型 启发 式 算法 。 


分 布 估计 算法 (Estimation of Distribution Algorithms, EDA) ,又 称 为 基于 概率 模型 
的 遗传 算法 (Probabilistic Model Building Genetic Algorithms, PMBGA), # 20 世纪 
90 年 代 初 提出 的 一 种 新 型 的 局 发 式 算法 。 它 结合 了 统计 学 习 理 论 和 遗传 算法 的 原理 , 通 
过 构建 概率 模型 .采样 和 更 新 概率 模型 等 操作 实现 群体 的 进化 。 

分 布 估计 算法 的 思想 起 源 于 遗传 算法 (Genetic Algorithm, GA), 但 是 它 却 有 与 遗传 
算法 截然 不 同 的 进化 模式 。 从 一 定 意 义 上 说 ,遗传 算法 是 在 “微观 ”层面 上 对 生物 的 进化 
进行 模拟 ,而 分 布 估计 算法 则 是 在 “宏观 ”的 层面 上 来 控制 算法 搜索 。 这 种 全 新 的 进化 模 
式 赋予 了 分 布 估计 算法 独特 的 性 能 ,而 其 强大 的 全 局 搜索 能 力 和 解决 高 维 复杂 问题 的 能 
力 更 成 为 吸引 众多 研究 者 注意 的 亮点 。 经 过 十 多 年 的 发 展 , 分 布 估计 算法 已 成 为 当前 计 
算 智能 领域 前 沿 的 一 个 研究 热点 。 

本 革 将 介绍 分 布 估计 算法 的 基本 原理 发展 历史 、 最 新 的 研究 进展 及 其 应 用 领域 。 具 
体 包 括 如 下 的 内 容 : 

© 分 布 估 计算 法 简介; 

。 分 布 估 计算 法 的 基本 流程 ; 

。 分 布 估 计算 法 的 改进 及 其 理论 研究 ; 

。 分 布 估 计算 法 的 应 用 。 


8.1 分 布 估计 算法 简介 


8.1.1 分 布 估 计算 法 产生 的 背景 


分 布 估 计算 法 (Estimation of Distribution Algorithms, EDA) ,又 称 为 基于 概率 模型 
的 遗传 算法 (Probabilistic Model Building Genetic Algorithms，PMBGA) ,是 20 世纪 90 
年 代 初 提出 的 一 种 新 型 的 启发 式 算 法 5 。 分 布 估计 算法 的 思想 起 源 于 遗传 算法 
(Genetic Algorithm,GA)5 2 。 在 前 面 的 章节 中 ,我 们 已 经 学 习 了 遗传 算法 的 原理 和 发 
展 历史 。 那 么 ,分布 估 计算 法 的 思想 又 是 怎样 在 遗传 算法 的 发 展 过 程 中 产生 的 呢 ? 

20 世纪 80 年 代 末 ,遗传 算法 在 许多 领域 的 应 用 部 取得 了 空前 的 成 功 ,但 是 对 它 的 理 
论 人 研究 还 相对 注 弱 ,这 限制 了 遗传 算法 的 进一步 推广 。 为 了 从 理论 上 分 析 遗 传 算法 的 机 
理 和 收敛 性 ,学 者 们 提出 了 著名 的 模式 定理 和 “积木 块 假设 ”。 在 遗传 算法 一 草 中 ,我 们 已 
经 对 模式 定理 和 ”积木 块 假 设 2” 的 有 关 概 念 和 理论 进行 了 简要 的 描述 。 按 照 “ 积 木 块 假设 ” 
的 观点 ,遗传 算法 的 演化 过 程 是 对 种 群 染色 体 中 的 大 量 “ 积 木 块 ”进行 选择 和 重组 操作 , 通 
过 组 合 出 更 多 好 的 “积木 块 ? 来 逐步 搜索 出 全 局 最 优 解 的 过 程 。 实 践 证 明 ,遗传 算法 在 求 
解 “ 积 木 块 ”紧密 相连 的 问题 时 表现 出 了 很 好 的 性 能 ,但 是 在 求解 “积木 块 ” 松 散 分 布 的 问 
题 时 性 能 却 很 差 。 这 是 因为 算法 中 的 交叉 操作 经 第 会 破坏 “积木 块 ”, 从 而 导致 算法 趋 于 
局 部 收敛 或 者 早熟 "5 。 

为 了 解决 遗传 算法 中 “积木 块 ”被 破坏 的 问题 ,学 者 们 提出 了 许多 改进 方案 。 这 些 方 案 
可 以 分 为 两 大 类 别 : 一 类 是 通过 学 习 解 的 结构 ,发 现 “ 积 木 块 ?并 避免 “积木 块 ? 的 破坏 。 这 
类 改进 的 遗传 算法 称 为 连锁 学 习 遗 传 算 法 (Linkage Learning Genetic Algorithm)", 5 — 
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类 则 以 一 种 而 有 ”全 局 操控 ?性 的 操作 模式 蔡 换 掉 遗 传 算法 中 对 "积木 块 2 具 有 破坏 作用 的 
遗传 算 子 , 这 就 是 本 草 所 要 描述 的 分 布 估计 算法 。 和 遗传 算法 的 算法 结构 相 比 ,分 布 估计 
算法 没有 交 又 算 子 和 变异 算 子 ,取而代之 的 是 建立 概率 模型 和 采样 两 大 操作 。 遗 传 算 法 
与 分 布 估计 算法 的 流程 对 比如 图 8. 1 Pras 


EE 


达到 结束 
条 件 ? 


基本 站 传 算法 框 染 基本 分 布 估计 算法 框架 
图 8.1 遗传 算法 与 分 布 估计 算法 的 流程 对 比 


8.1.2 分 布 估计 算法 的 发 展 历 史 


分 布 估计 算法 的 概念 最 先 由 Miihlenbein 于 1996 年 提出 号 ,但 早 在 1994 年 , Baluja 
就 提出 了 最 原始 的 分 布 估计 算法 模型 , 即 PBIL(Population-Based Incremental Learning) 
算法 中。Baluja 在 1994 至 1995 年 间 相 继 发 表 了 三 篇 文章 ,系统 阐述 和 分 析 PBIL 算法 的 
原理 和 性 能 ,为 分 布 估计 算法 的 发 展 打 下 了 良好 的 基础 。 随 后 ,Miihlenbein 于 1996 年 
提出 另 一 种 经 典 的 分 布 估 计算 法 : UMDA (Univariate Marginal Distribution 
Algorithm), UMDA 与 PBIL 的 原理 非常 类 似 , 只 是 概率 模型 的 更 新 方法 有 所 不 同 。 

早期 对 分 布 估计 算法 的 人 研究 都 是 围绕 二 进 制 编码 展开 的 ,而 且 集 中 于 人 研究 问题 变量 无 
关 的 情形 。 这 类 简单 的 分 布 估计 算法 除了 PBIL 和 UMDA 之 外 ,还 有 Harik 于 1997 年 提出 
的 CGA(Compact Genetic Algorithm)" , 1997 至 2000 年 是 EDA 迅速 发 展 的 黄金 时 期 ,期 
间 出 现 了 多 种 经 典 的 研究 多 变量 相关 性 的 分 布 估计 算法 ,如 MIMIC Mutual Information 
Maximizing Input Clustering)“ , COMIT (Combining Optimizers with Mutual Information 
Trees )"J | FDA ( Factorized Distribution Algorithm)! 和 BOA ( Bayesian Optimization 
Algorithm) 等 。 其 中 ,MIMIC 由 De Bonet 于 1997 年 提出 , 它 采 用 了 一 种 链 式 关系 来 描述 


变量 之 间 的 关系 。 在 MIMIC 的 基础 上 ,Balwa 于 1997 年 提出 了 男 一 种 双 变 量 相 关 分 布 估 
计算 法 COMIT, 它 采用 树 状 结构 来 描述 变量 之 间 的 关系 。 由 于 MIMIC 和 COMIT 所 采用 
的 链 式 和 树 状 结构 依然 无 法 完美 地 表达 变量 之 间 的 关系 ,Miihlenbein 于 1998 年 提出 另 一 种 
经 典 的 分 布 估计 算法 FDA, 它 需要 预先 给 定 变量 之 间 的 依赖 关系 。BOA 则 由 Pelikan 于 
1999 年 提出 , 它 采 用 了 贝 叶 斯 网 络 来 描述 变量 之 间 的 关系 。 

上 述 的 几 种 分 布 估计 算法 都 是 以 二 进 制 编码 的 形式 来 描述 的 ,最 原始 的 实数 编码 分 
布 估计 法 是 Servet 等 " 引 于 1997 年 提出 的 一 种 基于 均匀 分 布 的 实数 编码 PBIL。 该 算法 
以 类 似 二 分 法 搜索 的 形式 通 近 最 优 解 ,实验 表明 该 算法 在 搜索 过 程 中 容易 丢失 全 局 最 优 
解 ,而 且 一 旦 丢失 就 再 也 无 法 找 回 。 随 后 ,Sebagb9 于 1998 年 提出 一 种 基于 高 斯 分 布 的 
实数 编码 PBIL ,解决 了 全 局 最 优 解 的 丢失 问题 ,因而 具有 较 好 的 性 能 (该 算法 被 简称 为 
PBILc)。 与 UMDA 对 应 , Larrañaga F 2000 年 提出 了 UMDAc6a7] 。 此 外 ,日 本 学 者 
Tsutsui 还 于 2001 年 提出 一 种 基于 直方 图 的 实数 编码 分 布 估计 算法 HEDA™*!, Ahn?” 
则 于 2004 年 将 BOA 拓展 到 实数 编码 。 可 见 , 实 数 编码 的 分 布 估计 算法 在 2000 年 前 后 迅 
速 发 展 ,而 高 斯 分 布 是 其 中 被 应 用 得 最 广泛 的 概率 模型 。 

随 着 实数 编码 EDA 和 多 变量 相关 EDA 的 迅速 发 展 ,结合 EDA 与 其 他 进化 算法 的 
混合 分 布 估计 算法 (Hybird EDA)、 自 适应 分 布 估计 算法 (Adaptive EDA) .并行 分 布 估计 
算法 (Parallel EDA) 以 及 关于 分 布 估计 算法 的 理论 研究 都 开始 踊 入 EDA 发 展 的 历史 舞 
台 ,成 为 了 当前 EDA 研究 的 热点 。 在 混合 EDA 77 iil. Pena?” 等 提出 了 结合 遗传 算法 与 
分 布 估 计算 法 的 GA-EDA ,Zhang 4°") 提出 了 结合 差分 算法 的 DE-EDA 以 及 结合 局 
部 搜索 算法 的 EDA/L,Iqbal2 Al Wang[55 分 别提 出 以 不 同形 式 结合 粒子 群 算法 的 PSO- 
EDA 等 。 在 自 适 应 分 布 估计 算法 方面 ,Lu 提出 基于 聚 类 分 析 的 自 适 应 EDA55 ,在 一 定 
程度 上 克服 了 单一 高 斯 分 布 的 EDA 难于 求解 多 峰 函 数 优化 问题 的 缺点 ;Santana'””| 则 提 
出 采用 多 种 概率 模型 产生 样本 的 方法 。 在 并 行 分 布 估计 算法 方面 ,近年 来 陆续 提出 一 些 
并 行 策略 ,主要 集中 于 概率 模型 学 习 的 并 行 化 |。 

随 着 对 分 布 估 计算 法 的 理论 研究 的 不 断 深入 ,许多 研究 者 开始 采用 分 布 估计 算法 解 
决 复杂 的 优化 问题 。 目 前 ,分 布 估计 算法 的 主要 应 用 领域 包括 孔 数 优化 331227 组 合 优 
AEE] 生物 信息 “4 、 多 目标 优化 5 和 机 器 学 习 [450 等。 可 以 预计 ,扩展 分 布 估 计 
算法 的 应 用 将 是 进化 计算 领域 的 又 一 个 研究 热点 。 

经 过 十 多 年 的 发 展 , 分 布 估计 算法 已 成 为 当前 国际 学 术 界 的 一 个 热门 课题 。 其 中 , 权 
威 的 国际 期 刊 Evolutionary Computation F 2005 年 出 版 了 分 布 估 计算 法 的 专刊 ; ACM 
SIGEVO IEEE CEC 等 许多 权威 国际 学 术 会 议 也 都 设 有 分 布 估计 算法 的 专题 讨论 。 


8.2 ”分布 估计 算法 的 基本 流程 


8.2.1 基本 的 分 布 估计 算法 


分 布 估计 算法 是 一 种 基于 种 群 的 随机 优化 算法 , 它 首先 需要 生成 一 个 初始 种 群 ,然后 
通过 建立 概率 模型 和 采样 等 操作 使 种 群 得 到 不 断 的 进化 ,直到 达到 结束 条 件 。 其 中 ,建立 
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概率 模型 和 采样 是 分 布 估计 算法 的 核心 步骤 ,也 是 EDA 与 GA 的 最 大 不 同 之 处 。 由 于 分 布 
估计 算法 没有 “交叉 ”和 “变异 ”操作 ,因而 通常 不 用 基因 来 描述 个 体 所 包含 的 信息 ,取而代之 
的 是 变量 (Variables)。 分 布 估计 算法 通过 分 析 较 优 群 体 所 包含 的 变量 ,构建 符合 这 些 变量 
分 布 的 概率 模型 ,然后 基于 该 概率 模型 再 产生 新 的 种 群 。 因 为 概率 模型 是 由 种 群 中 优势 群 
体 建立 起 来 的 ,所 以 基于 该 模型 产生 的 新 种 群 在 整体 质量 上 将 优 于 原来 的 种 群 。 由 此 推断 ， 
种 群 的 整体 质量 经 过 多 次 迭代 后 将 不 断 得 到 提高 。 分 布 估计 算法 就 是 按照 这 种 形式 将 当前 
最 优 解 一 步 一 步 地 逼近 全 局 最 优 解 的 。 基 本 分 布 估计 算法 的 伪 代 码 如 图 8. 2 所 示 。 


// 功 能 : 基本 分 布 估计 算法 的 伪 代 码 
procedure EDA 
D4 Generate N individuals randomly 
1=1 
while not met stopping criterion do 
De 1*-Select Se<N individuals from D, 1 according to a selection method 


pı (x)=0 (x| Dı) Estimate the joint probability of selection individuals 


Di Sample N individuals from pı (x) 
J=1+1 
end while 
end procedure 


图 8.2 基本 分 布 估计 算法 的 伪 代 码 


以 UMDA 为 例 ,其 算法 执行 步骤 如 下 。 
第 一 步 : 随机 产生 NN 个 个 体 来 组 成 一 个 初始 种 群 ,并 评估 初始 种 群 中 所 有 个 体 的 适 
应 度 。 
第 二 步 : 按 适 应 度 从 高 到 低 的 顺序 对 种 群 进行 排序 ,并 从 中 选 出 最 优 的 Se 个 个 体 
(Se<N)., 
第 三 步 : 分 析 所 选 出 的 Se 个 个 体 所 包含 的 信息 ,估计 其 联合 概率 分 布 p(x)。 


p(x) = p(x | DS) = [| pan (8.1) 
i=] 


其 中 ,n 为 解 的 维 数 ,p(xi) 为 每 维 变 量 的 边缘 分 布 。 

第 四 步 : 从 构建 的 概率 模型 p(x) 中 采样 ,得 到 NN 个 新 样本 ,构成 新 种 群 。 此 时 , 知 达 
到 算法 终止 条 件 则 结束 ,否则 执行 第 二 步 。 
从 式 (8. 1) 可 以 看 出 ,UMDA 在 估计 概率 模型 
C) © 时 ,认为 变量 之 间 是 独立 不 相关 的 。 我 们 可 以 用 
图 8. 3 来 形象 描述 UMDA 所 构建 的 概率 模型 中 , 变 
© () 。 量 之 间 的 逻辑 依赖 关系 。 其 实 ,早期 所 提出 的 分 布 
估计 算法 如 PBIL 和 CGA 等 都 采用 变量 无 关 的 概率 
© ER, TEJA H DE E RITH I A HE — 2 op A 
图 8.3 变量 相互 无 关 的 概率 图 模型 ”一 些 采 用 复杂 概率 模型 的 分 布 估计 算法 。 
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8.2.2 一 个 简单 分 布 估计 算法 的 例子 


为 了 更 好 地 理解 分 布 估计 算法 的 执行 流程 ,本 小 节 将 以 上 一 小 节 介 绍 的 UMDA 为 
例 ,详细 描述 该 算法 优化 OneMax 问题 的 演算 过 程 。 

定义 8.1 OneMax 问题 : 对 于 固定 长 度 为 N 的 二 进 制 串 ,OneMax 问题 要 求 找到 一 
个 包含 1 的 个 数 最 大 的 二 进 制 串 , 即 找到 x = Cr ore tt san) a, E {0.1}. EE F(x) = 


2 ti 最 大 化 。 


现在 ,我 们 采用 UMDA 来 求解 一 个 四 维 的 OneMax 问题 。 在 这 个 例子 中 ,我 们 用 一 
个 简单 的 概率 向 量 p= Cpi + Po > Ps ,ps) 来 表示 描述 种 群 分 布 的 概率 模型 ,其 中 p; 表示 
x, 取 1 的 概率 ,(1 一 p;) 则 为 x; 取 0 的 概率 。 

第 一 步 : 产生 初始 种 群 。 为 了 使 初始 种 群 在 定义 域内 符合 均匀 分 布 ,我 们 定义 初始 
化 概率 癌 量 模型 p= 二 (0. 5,0.5,0.5,0.5), 然 后 根据 p 产生 规模 为 10 的 初始 种 群 ,最 后 根 
据 F(x) =a Har: tag tay 计算 出 初始 种 群 的 适应 度 ,最 终 的 结果 如 表 8. 1 TAN 


表 8.1 从 解 空间 中 按 均匀 分 布 产 生 10 个 个 体 


as | a | a | a | a | 7 
1 l l 0 l 3 
2 1 0 0 0 l 
3 0 1 0 0 l 
4 0 l l l 3 
5 l l 0 1 3 
6 0 l 1 0 2 
7 l 0 l 0 2 
8 0 0 l 1 2 
9 l 0 0 0 l 
10 l 0 0 l 2 


第 二 步 : 按照 种 群 的 适应 度 从 高 到 低 进行 排序 。 假 设 Se 一 5, 则 从 种 群 中 选 出 适应 度 
较 高 的 5 个 个 体 用 来 更 新 概率 向 量 模型 p。 更 新 概率 模型 时 令 p, = n 为 在 选 出 
的 较 优 个 体 中 ae, = 1 的 个 体 数 。 最 终 选 出 的 个 体 如 表 8. 2 所 示 , 从 而 得 到 新 的 概率 模型 


| 二 
为 p= (3 es ”5 ' | OO 


表 8.2 选择 操作 后 的 优势 群体 


2 w% Ne 
mm w wo wl] & 
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第 三 步 : 根据 更 新 后 的 概率 模型 p 产生 新 的 样本 ,并 计算 这 些 新 样本 的 适应 度 。 最 
终 得 到 新 一 代 的 种 群 如 表 8. 3 所 示 。 
表 8.3 更 新 概率 向 量 后 产生 的 新 群体 


ae El 
1 l 0 0 2 
2 0 0 
3 l l l 3 
4 l l l 4 
5 l 1 l 3 
6 0 l 0 l 
f 1 l 0 3 
8 l l l 4 
9 l 0 1 3 
10 l 0 0 2 


WW ES RAN S IE CE. KAERA AMR = 
完成 下 一 代 的 进化 ,最 终 得 到 的 种 群 平 均 适 应 度 和 概率 模型 如 表 8.4 所 示 。 我 们 可 以 看 
出 , 随 着 演化 的 进行 ,种群 的 整体 质量 不 断 提高 ,概率 向 量 逐 渐 明 近 全 局 最 优 解 。 


表 8.4 概率 向 量 和 种 群 平均 适应 度 的 进化 情况 


进化 代数 概率 向 量 种 群 平均 适应 度 


(0.5,0.5,0.5,0.5) 2.2 
(0.6,0.8,0.6,0.6) 2.6 
(0.8,1.0,0.6,0.8) 2.9 
(1.0,1.0,1.0,0.8) 3.8 
(1.0,1.0,1.0,1.0) 4.0 


on e WwW N =e 


8.3 分布 估 计算 法 的 改进 及 理论 研究 


经 过 十 多 年 的 发 展 , 分 布 估计 算法 已 经 有 了 许多 形式 的 改进 : 从 求解 离散 问题 的 分 
布 估计 算法 扩展 到 求解 连续 问题 的 分 布 估计 算法 ;从 变量 无 关 的 分 布 估计 算法 扩展 到 多 
变量 相关 的 分 布 估计 算法 ;从 单一 的 分 布 估计 算法 扩展 到 混合 其 他 算法 ,甚至 具有 自 适应 
功能 的 分 布 估计 算法 。 与 此 同时 ,对 分 布 估计 算法 的 机 理 及 其 收敛 性 的 研究 也 逐渐 开展 
了 起 来 。 
8.3.1 概率 模型 的 改进 

在 8.2. 1 小 节 中 ,我 们 已 经 癌 读者 介绍 了 最 简单 的 一 类 分 布 估计 算法 , 即 变量 无 关 分 
布 估计 算法 。 早 期 所 提出 的 分 布 估计 算法 都 属于 这 一 类 ,如 PBIL、UMDA 和 CGA 等 。 
由 于 在 实际 应 用 中 ,问题 所 包含 的 变量 之 间 常 常 具 有 关联 关系 ,采用 变量 无 关 的 分 布 估计 
算法 求解 这 类 问题 无 法 得 到 令 人 满意 的 效果 。 针 对 这 个 问题 ,学 者 们 展开 了 深入 的 研究 ， 
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并 相继 提出 了 一 系列 用 于 求解 具有 变量 相关 性 的 问题 的 分 布 估计 算法 。 根 据 这 些 改进 的 
分 布 佑 计算 法 对 变量 关联 性 捕捉 能 力 的 差异 ,可 以 将 它们 分 为 三 大 类 ,如 图 8.4 所 示 。 下 
面 简要 介绍 其 中 几 个 比较 经 典 的 概率 模型 。 


分 布 估计 算法 概率 模型 改进 版 本 一 览 图 
变量 无 关 模型 双 变量 相关 模型 多 变量 相关 模型 


PBIL:Baluja 1994 MIMIC:Bonet 1997 FDA:Mihlenbein 1999 
UMDA:Miihlenbein 1996 COMIT:Baluja 1997 BOA:Pelikan 1999 


CGA:Harik 1997 BMDA:Pelikan 199915% ECGA:Harik 199913! 


图 8.4 分 布 估 计算 法 概率 模型 改进 版 本 一 览 图 


1. 链 式 概率 模型 
最 早 的 变量 相关 分 布 估计 算法 是 Bonet 于 1997 年 提出 的 基于 最 大 互信 息 的 分 布 估 
计算 法 (Mutual Information Maximization for Input 
Clustering, MIMIC)", 在 MIMIC 中 ,变量 之 间 的 关系 On On ) 
是 一 种 链 式 的 关系 , 即 在 n 维 随 机 变量 组 成 的 链 中 ,只 有 ”图 8.5 变量 之 间 链 式 依赖 
相 邻 的 变量 之 间 才 有 关系 ,其 概率 结构 如 图 8. 5 所 示 。 关系 的 概率 图 模型 
为 了 求 出 分 布 估计 算法 的 概率 模型 ,我们 通 篆 先 研 
究 个 体 中 变量 集合 的 联合 分 布 。 给 定 一 个 变量 集合 XS (zi ,zs，… ,Xx,), 它 的 联合 分 布 概 
率 密度 晴 数 可 由 公式 (8.2) 表 示 : 
p(X) = p(X; | X20 XD P(X: | Xz X, p(Xna | Xn) pCX,) (8. 2) 
由 于 存在 链 式 关系 ,两 个 变量 之 间 的 条 件 概率 p(X;|X;) 可 以 根据 样本 信息 求 得 。 
MIMIC 的 目标 即 是 找到 X 的 一 种 最 优 排序 xz 二 {x; ,ze ， ,Xx; } ,使 得 根据 这 种 排序 所 
求 得 的 p(X) 与 P(X) 尽 可 能 一 致 ,其 中 名 (CX) 为 : 
pe(X) = p(X, | Ki pK | Xi) p(X, | Xi) p(X) (8. 3) 
文献 [11 1 引入 Kullback-Liebler divergence 的 概念 来 衡量 两 个 分 布 之 间 的 距离 ,其 定义 
如 下 : 
D(p | px) =— h) HAX: | Xi.) +e HAX a | Xi HAX) BA 
其 中 ,h(X) = 一 >) p(X = x)logp(X = x) A(X | Y) =— Xh (X | Y= y)p(Y=y), 


h(X | Y = y) =— p(X = 2 | Y = y)logp (X = < | Y = y). 简单 地 说 ,D(p | pW 
值 只 有 在 两 个 分 布 相等 的 情况 下 才 为 0。 但 是 ,如 果 通 过 枚 举 的 方法 搜索 一 种 最 优 的 排列 


EDO || za。.) 的 值 最 小 ,需要 O(N1) 的 计算 量 。 为 了 减少 计算 量 , MIMIC 引入 了 一 种 
贪心 算法 来 求 最 优 排 列 , 其 流程 如 下 。 


第 一 步 : 计算 所 有 h(X;), 将 值 最 小 的 变量 标号 为 i,» Bl i, = arg minjh (X;);4 
k=n—1,. 
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第 二 步 s 对 所 有 JSF iggy eei ) 计 算 A(X, [Xi ) 并 将 值 最 小 的 变量 标号 为 ips BJ 
i, = arg min; (X; | Xy )> fj Aiming 令 有 一 人 一 1 

第 三 步 : Ak 二 0 则 结束 ,否则 执行 第 二 步 。 

当 概 率 分 布 被 确定 好 后 , MIMIC 按 如 下 流程 从 链 尾 到 链 首 依次 产生 一 个 新 样本 。 

第 一 步 : 根据 概率 密度 函数 p(X; ) ,产生 X; 。 

第 二 步 : 对 所 有 的 & 二 nn 一 1,n 一 2,…,2,1, 根 据 p(X; | Xi 

2. 树 状 概率 模型 

COMIT(Combining Optimizers with Mutual Information Trees) 是 Balujat24 于 1997 


) 产 生 X; 。 


年 提出 的 另 一 种 变量 相关 分 布 估计 算法 。COMIT 与 MIMIC 都 是 解决 双 变 量 相关 的 分 
布 估计 算法 ,但 与 MIMIC 不 同 的 是 ,COMIT 采用 一 种 树 状 
结构 来 描述 变量 之 间 的 关系 ,如 图 8.6 所 示 。 


COMIT 采用 机 器 学 习 领 域 中 Chou 和 Liu! 提出 的 方 


法 构造 概率 模型 ,并 根据 MIMIC 的 取样 方式 从 概率 模型 中 
产生 新 样本 。COMIT 构建 概率 模型 和 采样 的 流程 由 以 下 四 
步 组 成 : 


第 一 步 : 定义 数组 A,ALX; 二 a,X; 二 bj 记录 所 有 变量 对 


X: AX;,X;=a Al X; =b 出 现 的 次 数 。 首先 将 AL X: =a, 图 8.6 变量 之 间 树 状 依赖 
Xi 一 0 初始 化 为 一 个 小 稍 量 ,然后 采用 增 量 学 习 手 法 不 断 更 关系 的 概率 图 模型 


新 ,使 得 最 新 出 现 的 权重 越 大 , 即 更 新 数组 A 时 ,首先 所 有 值 


乘 一 个 挥发 因子 a, 然 后 每 出 现 一 个 XX, 二 a,X;= 二 5, 则 ALX; =a. X; =b] 1. 0。 
第 二 步 : RHE ALX: =a, X =b] HAEE X MX, 之 间 的 关联 性 。 关 联系 数 定 


义 为 : 


Xx» 


图 


P(X; =a,X; =b) 
TCX; X;) = DPX, =a,X; = blog BOY = DPX = BD (8.5) 


第 三 步 : 根据 关联 系数 信息 息 , 构 建 关联 树 。 其 构建 过 程 如 下 。 
Step]: 随机 选择 一 个 节点 w 作为 根 , 令 S 为 已 处 理 节点 集合 , 则 有 S= {vo}。 
td eg 

Step3: 4 SA¢ 转 Step2, 否 则 结束 。 

第 四 步 : 深度 优先 遍历 关联 树 ,产生 新 样本 。 

3. 贝 叶 斯 网 络 概率 模型 

贝 叶 斯 网 络 是 描述 变量 之 间 概 率 依赖 关系 的 数学 模 
型 ,其 拓扑 结构 是 一 个 有 向 无 环 图 CDAG) ,如 图 8.7 所 
xs 示 , 其 中 每 个 节点 代表 一 个 变量 ,而 每 条 边 则 表示 变量 之 
间 的 概率 依赖 关系 。 

贝 叶 斯 网 络 提供 了 一 种 把 联合 概率 分 布 分 解 为 局 部 
概率 分 布 的 方法 。 假 设 X= {X, ,X。 ,…,X, ) 为 随机 变量 
8.7 贝 叶 斯 网 络 拓扑 结构 图 ge fs ,x,,…,z,} 表 示 变 量 的 集合 , 则 基于 贝 叶 斯 网 
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络 的 联合 概率 为 : 

P(x) = P(x, | 站 om)。P(z | Dee 9%) $ 2° © Pla, | zi) $ P(x) (8.6) 
因此 根据 图 8.7 所 示 的 贝 叶 斯 网 络 ,可 求 得 PCz) 为 : 

ed ee ee 5X5 5 Te) 

= P(x; | x4) © P(x, | x2523) © PCars | x1523) © PCxe | xı) »* Plxs | xı) $ PCa) 

由 于 贝 叶 斯 网 络 可 以 很 好 地 描述 变量 之 间 的 复杂 依赖 关系 ,Pelikan 等 人 于 1999 年 
提出 基于 贝 叶 斯 网 络 模 型 的 分 布 估计 算法 (The Bayesian Optimization Algorithm. 
BOA)“, BOA 采用 贝 叶 斯 网 络 概 率 模型 ,采样 时 根据 贝 叶 斯 网 络 拓 ; 扑 结 构图 从 父 节 点 
到 子 节 点 依次 采样 生成 样本 。 其 中 ,构建 贝 叶 斯 网 络 模 型 的 过 程 包括 网 络 结构 的 学 习 和 
参数 的 学 习 两 个 过 程 。Pelikan 等 人 的 研究 表明 ,BOA 在 求解 复杂 优化 问题 时 取得 了 很 
好 的 效果 ,其 算法 流程 伪 代 码 如 图 8. 8 所 示 。 


// 功 能 : BOA 伪 代码 

procedure BOA 
DGenerate N individuals randomly 
J=1 
while not met stopping criterion do 


Se(1)#-select Se<N individuals from D,, according to a selection method 


Construct the network B using a chosen metric and constraints 
Generate a set of new individual T(1) according to the joint distribution 
encoded by B 
Create a new population D: by replacing some individuals from D-ı with O(1) 
J=1+1 
end while 
end procedure 


图 8.8 BOA 算法 流程 伪 代 码 


4. 高 斯 概率 模型 

高 斯 分 布 又 称 为 正 态 分 布 ,通常 记 为 N(y,o?), 其 中 为 分 布 的 均值 ,o 为 分 布 的 方 
差 , 其 函数 图 像 如 图 8.9 所 示 。 高 斯 概率 模型 是 实数 编码 分 布 估计 算法 的 经 典 概率 模型 。 
PBIL 和 UMDA 对 应 的 实数 编码 分 布 估计 算法 PBILc 和 UMDAc 所 采用 的 概率 模型 都 
是 高 斯 概率 模型 507] 。 此 外 ,多 元 高 斯 模型 也 是 解决 多 变量 相关 的 实数 编码 分 布 估计 算 
法 常 采用 的 概率 模型 。 本 小 节 将 以 PBILc 为 例 介 绍 高 斯 概率 模型 解决 连续 空间 的 优化 
问题 的 流程 。 

PBILc 对 每 个 变量 x; 定义 一 个 一 元 高 斯 分 布 N (jy ,0 ), 然 后 根据 每 个 N(y; «07 ) TE 
整个 定义 域 空间 产生 一 个 样本 。 构 建 概率 模型 的 过 程 主 要 包括 yw; 和 oj; 的 确立 ,mi AR 
了 样本 的 中 心 ,而 o 则 控制 着 样本 的 多 样 性 。 随 着 种 群 的 进化 ,w 将 逐渐 通 近 全 局 的 最 
优 解 所 在 的 位 置 ,而 o 将 越 来 越 小 ,从 而 使 种 群 聚 扰 到 全 局 最 优 解 附近 。 具 体 地 说 ， 
PBILc 的 求解 过 程 由 如 下 四 步 组 成 。 
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. e 20? (o>0) 


] 
P(x)= Jro 


图 8.9 高 斯 分 布 示意 图 


第 一 步 : 随机 产生 初始 种 群 并 计算 种 群 中 所 有 个 体 的 适应 度 ,同时 根据 公式 (8.7) 初 


S VEJL] 
m = D 


[Sv -py 
a=] — N 


其 中 V[ijLi] 为 种 群 中 个 体 i 的 变量 xz; 的 值 ,N 为 种 群 的 规模 。 

第 二 步 : 采用 线性 学 习 方 式 更 新 高 斯 分 布 的 均值 。 设 在 第 1 代 时 ,zx; 对 应 的 高 斯 分 
布 的 均值 为 WA : 

pp = (l—a@) epg tae (ap rr — zy™) (8. 8) 

其 中 a 为 学 习 因 子 ,x™” ae? BL ae PO 分 别 表示 种 群 中 最 优 个 体 、 次 优 个 体 和 最 差 个 体 
所 对 应 的 2, 值 。 

第 三 步 : 采用 线性 学 习 方 式 更 新 高 斯 分 布 的 方差 。 设 在 第 1 代 时 ,zx; 对 应 的 高 斯 分 
布 的 方差 为 o;, 则 有 : 


(8.7) 


K—1 
g = (1—a) -o ta. |(2 (ts —2))/K (8.9) 
k=0 


其 中 zi 为 种 群 按 适 应 度 从 大 到 小 排名 第 (k 一 1) 的 个 体 的 x; 值 ,z 为 选 出 的 天 个 较 优 种 
群 的 zx 的 均值 , 即 : 


z= (> za)/K (8. 10) 
第 四 步 : 根据 更 新 的 高 斯 分 布 产 生 样 本 。 
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8.3.2 混合 分 布 估 计算 法 


在 智能 算法 的 大 家 庭 中 ,除了 分 布 估计 算法 和 遗传 算法 外 ,还 有 蚁 群 优化 算法 
(ACO) ,粒子 群 优化 算法 (PSO) 和 差分 进化 算法 (Differential Evolution,DE) 等 。 这 些 智 
能 算法 各 有 目 己 的 特征 ,有 的 适合 解决 连续 性 问题 ,有 的 适合 解决 离散 性 问题 ,而 有 的 具 
有 较 强 的 局 部 搜索 能 力 等 。 因 而 ,结合 多 种 智能 算法 取长补短 ,形成 功能 更 加 强大 的 混合 
算法 是 当前 智能 计算 人 研究 领域 的 一 个 热点 。 本 小 节 将 介绍 两 种 简单 的 混合 分 布 估计 算法 
的 原理 ,使 读者 有 一 个 初步 的 认识 。 

1. 分 布 估计 算法 与 遗传 算法 结合 

分 布 估计 算法 与 遗传 算法 都 是 基于 种 群 的 进化 算法 ,它们 的 不 同 之 处 在 于 生成 种 群 
的 机 制 不 同 。 为 了 验证 哪 一 种 算法 的 性 能 更 优 ,Larraiaga 和 Lozano’) 等 学 者 曾 设计 了 
多 种 问题 来 进行 测试 。 最 终 的 测试 结果 表明 没有 一 个 算法 对 解决 所 有 问题 都 是 最 优 的 。 
基于 这 个 研究 结论 ,Penat" 于 2004 年 提出 一 种 简单 有 效 的 混合 分 布 估计 算法 GA-EDA。 
在 GA-EDA 中 ,新 的 种 群 由 GA M EDA 共同 生成 。 具 体 地 说 ,GA 和 EDA 是 在 同一 个 
种 群 的 基础 上 按照 各 目的 机 制 分 别 产 生 两 个 子 种 群 ,然后 再 将 这 两 个 子 种 群 组 合成 新 的 
种 群 , 如 此 完成 一 代 的 进化 过 程 ( 如 图 8. 10 所 示 )。 仿真 的 结果 显示 这 种 简单 的 混合 机 制 
亦 能 取得 展 好 的 效果 。 


| ”采用 遗传 算法 从 | | 采用 分 布 估计 算法 从 ] 
种 群 中 产生 新 种 群 


图 8. 10 遗传 算法 与 分 布 估计 算法 混合 机 制 示意 图 


2. 分 布 估计 算法 与 差分 进化 算法 结合 

差分 进化 算法 (CDifferential Evolution, DE) 也 是 一 种 基于 种 群 的 随机 搜索 算 
法 '55159], 它 利用 当前 种 群 之 间 的 差异 信息 来 引导 搜索 。 随 着 进化 代数 的 增加 ,个 体 
之 间 的 差异 性 将 越 来 越 小 ,而 简单 的 差分 进化 算法 缺乏 有 效 的 机 制 利 用 和 产生 搜索 
空间 中 的 全 局 的 信息 ,因而 常常 会 收 人 钱 于 局 部 最 优 解 。 男 一 方面 ,分 布 估 计算 法 利 
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用 种 群 的 全 局 信息 建立 概率 模型 ,从 “宏观 ”上 控制 算法 搜索 。 因 而 结合 差分 进化 算 
法 和 分 布 估 计算 法 可 以 有 效 地 利用 局 部 信息 和 全 局 信息 ,形成 功能 更 加 强大 的 混合 
算法 。 在 文献 [21j 中 ,Sun 等 人 提出 了 一 种 结合 了 差分 进化 算法 的 混合 分 布 估计 算 
法 DE-EDA。 

DE-EDA 中 的 新 种 群 以 DE 或 EDA 方式 生成 。 记 第 k 代 种 群 的 第 j 个 个 体 为 wi, 则 
第 上 十 1 代 的 种 群 的 产生 过 程 如 下 。 

第 一 步 : 从 当前 种 群 中 选 出 M 个 较 优 的 个 体 ,并 如 下 建立 概率 模型 。 


p(x) = || Nass te) (8.11) 
i=] 


第 二 步 : 产生 一 个 0 一 1 之 间 的 随机 值 v A Va. WU TAFE DE 的 机 制 产 生 ,和 否 
则 按照 EDA 的 方式 从 概率 模型 p; (xz) 中 取样 。 其 中 a 为 控制 参数 ,最 终 产 生 的 新 个 体 
X us 

第 三 步 : Au 的 适应 度 大 于 zx 的 适应 度 , 则 u Su, A u ui. 

第 四 步 : 大 产生 了 足够 数量 的 新 种 群 则 终止 ,否则 执行 第 一 步 。 

除了 结合 遗传 算法 和 差分 进化 算法 的 混合 分 布 估计 算法 外 ,还 有 结合 粒子 群 算法 、 局 
部 搜索 算法 和 独立 主 成 分 分 析 技 术 等 混合 分 布 估计 算法 ,这 里 不 再 一 一 介绍 。 相 关 的 算 
法 特点 和 参考 文献 如 表 8. 5 所 示 。 


表 8.5 混合 分 布 估计 算法 研究 一 览 表 


研 究 者 说 B 
Topon Kumar Paul(2003)°”! EDA 55% 16°4 4 (Reinforcement Learning RABE 
M. D. Platel(2003)%* EDA 与 量子 技术 结合 
J. M。Pena(2004)520] EDA 与 GA 结合 
S.J. Yong(2004)?"! EDA 与 DE 结合 
Q. F. Zhang(2004)522] EDA 与 局 部 搜索 结合 
Alden Wright(2004)559] EDA 5SRKMBCABA 
Q. Lu(2005)525] EDA 与 聚 类 技术 结合 
Iqbal(2006)"*) 、Wang(2007)029 EDA 与 PSO 结合 
W. S. Dong(2008)5"] EDA 与 小 生境 技术 结合 


83.3 并行 分 布 估计 算法 


基于 种 群 的 进化 算法 需要 评 佑 种群 中 每 个 个 体 的 适应 度 , 而 且 需 要 多 次 的 迭代 计算 
过 程 ,这 限制 了 进化 算法 在 一 些 复杂 的 领域 以 及 对 实时 性 要 求 较 高 的 领域 的 应 用 。 为 了 
加 快 进化 算法 的 搜索 速度 ,学 者 们 提出 了 许多 结合 并 行 计算 技术 的 方法 。 不 同 的 进化 算 
法 在 算法 结构 上 的 差异 ,导致 它们 结合 并 行 计 算 的 方法 和 原理 也 有 所 不 同 。 本 小 节 回 谈 
者 介绍 并 行 分 布 估计 算法 的 基本 原理 及 其 研究 现状 。 

1. 种 群 级 别 并 行 化 

种 群 级 别 的 并 行 分 布 估计 算法 是 最 直观 、 最 易于 在 实际 中 应 用 的 并 行 分 布 估计 算法 
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之 一 。 人 简单 地 说 ,该 类 算法 通常 将 种 群 分 成 多 
个 子 种 群 ,每 个 子 种 群 在 不 同 的 机 天 上 运行 ， 
然后 各 个 子 种 群 通 过 迁移 等 机 制 进行 通信 , 达 

到 综合 信息 的 目的 。 
如 文献 L30] 提 出 了 一 种 基于 岛屿 模型 的 
并 行 分 布 估计 算法 dEDA ,该 算法 首先 将 种 群 
分 散 于 多 个 岛屿 中 ,然后 采用 不 同 概率 模型 的 
ee E E E EDA 对 不 同 岛屿 上 的 子 种群 进 行进 化 ,每 个 
不 同 的 EDA 示意 图 岛屿 上 的 子 种 群 进化 到 一 定 代 数 后 即 通过 同 
步 和 迁移 机 制 与 相 邻 的 孤岛 屿 上 的 种 群 进行 

相互 通信 ,如 图 8. 11 Pras. A 8. 12 是 该 算法 流程 的 伪 代 码 。 


// 功 能 : deDaA 伪 代码 
procedure dEDA 
D 4+ Generate N individuals randomly 
1=1 
while not met stopping criterion do 
Se(1) select Se <N individuals from Di according to a selection method 


Estimation the distribution p’ (x,1)of the selected set Se (JI) 
Generate N new individuals according to the distribution p° (x, 1) 
Send and receive individuals asynchronously, according to the migr. parameters 
J=1+1 
end while 
end of procedure 


图 8.12 dEDA 算法 流程 的 伪 代 码 
2. 适应 度 评估 并 行 化 
适应 度 评 佑 通常 是 算法 中 最 耗 时 的 部 分 ,而 采用 多 台 机 费 并 行 计 算 种 群 中 的 适应 度 
是 提高 进化 算法 搜索 速度 最 直接 有 效 的 方法 之 一 。 该 类 算法 通常 采用 主 从 模式 ,如 


图 8. 13 所 示 。 主 机 回 从 机 分 配 评 佑 适应 度 的 任 pe 
务 ,并 最 终 综合 各 从 机 反馈 回来 的 结果 ,继续 执 fo Mee 


行 EDA 算法 进行 其 他 模块 的 计算 。 而 分 机 则 


专门 负责 完成 主机 分 发 过 来 的 评估 任务 。 ZA UA 
3. 概率 模型 构建 并 行 化 Slaves J E NN 
在 采用 EDA 解决 多 变量 相关 的 复杂 问题 > > 

时 ,常常 需要 设计 复杂 的 概率 模型 (如 贝 叶 斯 模 RL i 

型 ) 。 这 类 概率 模型 的 构建 过 程 通常 需要 较 大 

的 计算 量 , 因 而 概率 模型 构建 的 并 行 化 也 是 提 

高 分 布 估计 算法 搜索 速度 的 有 效 方法 。 如 文献 L28]L61j] 中 Ocenasek Al Schwarz 提出 了 
并 行 计算 贝 叶 斯 网 络 的 新 方法 ,同时 也 将 该 技术 应 用 于 BOA ,提出 一 种 新 的 并 行 分 布 估 


图 8.13 主 从 模式 并 行 EDA 示意 图 
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计算 法 PBOA。 

4. 其 他 并 行 机 制 

由 于 产生 新 个 体 仅 依赖 于 当前 构建 的 概率 模型 ,个 体 与 个 体 之 间 并 无 关联 关系 ,因而 
可 以 对 采样 的 操作 进行 并 行 化 处 理 。 如 文献 L30] 对 EDA 的 采样 并 行 化 处 理 有 相关 的 站 
述 ,不 过 这 方面 的 研究 相对 较 少 。 此 外 ,也 有 学 者 提出 混合 以 上 多 种 并 行 技术 的 并 行 分 布 
估计 算法 中 。 


8.3.4 分 布 估计 算法 的 理论 研究 


随 着 分 布 估计 算法 的 兴起 ,对 其 进化 机 理 的 研究 也 逐步 展开 。 目 前 在 这 方面 的 研究 
主要 集中 在 算法 的 收敛 性 分 析 和 时 空 复杂 性 研究 两 个 方向 。 在 收敛 性 分 析 方 面 ,已 有 学 
者 对 PBIL、FDA 以 及 BOA 等 主要 的 分 布 估 计算 法 的 收敛 性 进行 了 人 研究 ,得 出 一 些 有 用 
的 结论 。 不 过 这 方面 的 研究 通常 针对 特定 的 问题 如 OneMax 问题 ,对 分 布 估计 算法 解决 
一 般 性 问题 的 收敛 性 研究 的 文献 还 比较 少 。 在 时 空 复杂 性 分 析 方 面 也 取得 了 一 些 进展 ， 
但 是 分 析 的 模型 还 比较 简单 ,通常 需要 比较 理想 的 前 提 条 件 , 如 种 群 规 模 无 穷 大 等 。 可 以 
说 ,当前 对 分 布 估计 算法 的 理论 研究 还 处 于 起 步 阶 段 ,有 待 进 一 步 深 入 。 表 8.6 是 分 布 估 
计算 法 理论 研究 的 现状 。 

表 8.6 分 布 估计 算法 理论 研究 现状 


研 究 者 说 明 


证 明 PBIL 在 解决 线性 的 二 进 制 优 化 问题 时 ,可 以 收敛 到 全 局 最 优 
解 , 解 非 线 性 问题 可 能 会 陷入 局 部 最 优 


H. Miihlenbein(1998)"**! 对 UMDA 的 收敛 性 进行 分 析 , 假 设 种 群 无 穷 大 
H. Miihlenbein(1999)"**! 对 FDA 的 收敛 性 进行 分 析 
M. Pelikan( 2001) **! 对 BOA 解决 OneMax 问题 的 收敛 性 进行 分 析 


对 种 群 规模 无 穷 大 的 EDA 进行 数学 建 模 ,分 析 了 EDA 算法 达到 
全 局 收敛 的 一 些 条 件 


Markus Hohfeld(1997)5631 


Q. F. Zhang(2004)"°7) 


R. Rastegar(2005)'**! 分 析 了 种 群 规模 无 穷 大 的 EDA 要 达到 全 局 收敛 所 需要 的 代数 
Tianshi Chen(2007)‘°* a p E C SE RE 


HE HRK E EA A h h EK e S E AY 7K, FF E E SE E A BF 
T EDA 终止 的 条 件 


Jiri Ocenasek(2006)‘” 


8.4 分 布 估 计算 法 的 应 用 


分 布 估计 算法 从 “宏观 ”的 角度 来 引导 算法 进行 搜索 ,这 种 全 新 的 进化 机 制 在 实际 应 
用 中 常常 表现 出 比 遗 传 算法 更 好 的 性 能 。 尤 其 在 解决 复杂 的 大 规模 优化 问题 时 ,分 布 估 
计算 法 能 够 以 较 快 的 速度 收敛 于 全 局 的 最 优 解 。 因 而 应 用 分 布 估计 算法 解决 科学 与 工程 
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计算 智能 
中 的 复杂 优化 问题 是 当前 的 一 个 人 研究 热点 。 分 布 估计 算法 目前 已 经 成 功 应 用 于 组 合 优 
化 、 机 天 学 习 、 横 式 识别 和 生物 信息 等 众多 领域 。 本 节 回 读者 介绍 分 布 估计 算法 在 一 些 重 
要 应 用 领域 的 发 展 情况 。 

1. 函数 优化 

现实 中 许多 问题 通过 数学 建 模 都 可 以 转化 为 函数 最 优化 问题 。 解 决 函数 优化 问题 的 
fe BT RA mE F Be SS A LS AE Be BB BES Se. (Ae E H PR PR K EE Be A k H op PH PB 
不 可 导 等 情况 下 ,这 些 传统 的 数值 优化 方法 往往 显得 无 能 为 力 , 取 而 代 之 的 是 遗传 算法 等 
启发 式 进化 算法 。 而 分 布 估计 算法 则 是 其 中 的 一 股 新 生 力 量 。 与 其 他 启发 式 进化 算法 相 
EE ,分布 估计 算法 能 够 更 有 效 地 保护 个 体 信息 中 的 “积木 块 ”, 使 之 不 被 破坏 ,因而 在 求解 
高 维 的 复杂 函数 优化 问题 时 ,往往 能 够 以 更 快 的 速度 收 钱 于 全 局 最 优 解 。 此 外 ,在 具有 先 
验 知 识 的 情况 下 ,我们 还 可 以 有 和 针对 性 地 选择 概率 模型 ,从 而 设计 出 性 能 更 加 优越 的 分 布 
估计 算法 。 

简单 的 分 布 估计 算法 在 求解 复杂 果 数 优化 时 性 能 较 差 ,尤其 是 在 处 理 多 峰 或 是 变量 
间 具 有 关联 关系 的 问题 时 容易 陷入 局 部 最 优 。 因 此 ,目前 用 于 解决 复杂 函数 优化 问题 的 
分 布 估 计算 法 大 都 混合 了 其 他 技术 如 局 部 搜索 技术 . 自 适 应 技术 、 主 成 分 分 析 技 
术 忆 和 其 他 进化 算法 所 的 等 ,这 里 不 再 袭 述 。 

2. 组 合 优化 

组 合 优化 问题 是 一 类 离散 最 优化 问题 。 典 型 的 组 合 优化 问题 有 旅行 商 问 题 
(Traveling Salesman problem,TSP) fF Mb dal BE [A] (Job Shop Schedule Problem,JSP) 和 
最 大 流 问 题 (Maximum Flow Problem,MEFP) 等 。 传 统 的 进化 算法 如 遗传 算法 和 模拟 退 
火 算 法 等 已 成 功 解决 了 大 量 复 杂 的 组 合 优化 问题 。 随 春分 布 估计 算法 的 兴起 ,其 在 组 合 
优化 领域 的 应 用 也 逐步 发 展 起 来 。 如 文献 [33] 以 TSP JSP 以 及 0-1 背包 等 组 合 优化 问 
题 为 例 , 详 细 地 阐述 了 EDA 解决 组 合 优化 问题 的 一 般 思路 ,并 通过 实验 仿真 证 明了 EDA 
可 以 有 效 解决 组 合 优化 问题 。 组 合 优化 的 范围 非常 广泛 ,这 里 只 列举 分 布 佑 计算 法 在 其 
中 一 些 重要 问题 上 的 应 用 ,如 表 8.7 所 示 。 

表 8.7 EDA 在 组 合 优 化 领域 的 研究 情况 


旅行 商 问题 Traveling Salesman Problem Larrañaga (2002)033] 

作业 调度 问题 Job Shop Scheduling Problem Larrañaga (2002)"** 、Jarboui(2009)538] 
护士 调度 问题 Nurse Scheduling Problem U. Aickelin(2006)533] 

网 络 控制 Network Control H. B. Lia(2008)%” 

最 大 团 问 题 Maximum Clique Problem Q. F. Zhang(2005) 
核反应 堆 燃 料 管理 问题 | Nuclear Reactor Fuel Management | S. Jiang(2006)5351 


最 大 分 集 问 题 Maximum Diversity Problem Wang(2009)0351 


3. 生物 信息 学 

随 看 医学 和 生物 学 的 快速 发 展 ,特别 是 人 类 基因 组 计划 的 顺利 推进 ,我 们 可 以 获取 海 
量 的 生物 学 数据 。 如 何 从 海量 数据 中 获取 对 人 类 有 用 的 信息 是 当今 生物 学 领域 的 一 个 严 
峻 挑战 。 而 生物 信息 学 即 是 在 这 个 背景 下 诞生 的 一 门 结合 计算 机 科学 、 生 物 学 和 数学 等 
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学 科 的 交叉 学 科 。 由 于 分 布 估计 算法 在 处 理 高 维 复 杂 问 题 时 表现 出 展 好 的 性 能 ,近年 来 ， 
陆续 有 学 者 采用 EDA 来 解决 生物 信息 学 领域 的 问题 。 从 目前 的 文献 来 看 ,分 布 估计 算 
法 在 生物 信息 学 领域 的 应 用 主要 有 以 下 几 个 方面 。 

(1) 基因 结构 分 析 

从 基因 组 中 确定 基因 的 结构 和 位 置 是 全 究 基因 组 的 重要 步骤 。 由 于 一 个 基因 可 能 包 
含 多 个 部 分 ,因此 可 以 将 基因 结构 的 确定 和 定位 的 过 程 看 成 是 一 个 分 割 和 识别 的 过 程 。 
H TER Bi) WA il) SE AL AY te FA BER. ORO EE FOS HE H HK (Feature Subset 
Selection, FSS) , 即 从 大 量 的 特征 数据 中 找 出 最 相关 的 特征 子 集 , 这 是 一 个 NP 难 问题 。 
目前 已 提出 了 多 篇 采用 EDA 方法 解决 FSS 问题 的 文献 。 如 文献 L50] 将 EDA 应 用 于 大 
规模 的 特征 子 集 选择 取得 了 民 好 效果 ;文献 L71j 提 出 一 种 基于 UMDA 的 方法 用 于 解决 
性 征 子 集 选 取 问 题 ;文献 [41j] 则 采用 分 布 估计 算法 解决 了 包含 特征 选取 问题 的 特征 排序 
(Feature Ranking) 问 题 等 。 

(2) DNA 微 阵 列 数据 的 分 类 和 聚 类 分 析 

微 阵 列 技术 是 近年 来 兴起 的 分 子 生物 学 人 研究 技术 ,通过 微 阵列 技术 我 们 可 以 获取 大 
量 的 基因 表达 数据 ,而 分 析 这 些 DNA 微 阵 列 数据 将 有 助 于 人 们 认识 许多 生物 过 程 的 本 
质 , 如 衰老 .总 证 和 发 育 等 。 由 于 涉及 的 数据 量 庞大 ,局 发 式 算 法 如 遗传 算法 和 分 布 估计 
算法 等 成 为 分 析 微 阵列 数据 的 有 效 工 具 。 如 文献 [42]、[L43j 采 用 基于 PBIL 的 分 布 估 计 
算法 从 DNA 微 阵 列 基因 表达 数据 集中 确定 非 元 余 的 基因 ,取得 了 良好 的 效果 ;文献 L441] 
采用 基于 UMDA 的 分 布 估计 算法 进行 基因 表达 数据 的 聚 类 分 析 取 得 了 比 遗 传 算 法 更 好 
的 效果 。 

(3) 重 日 质 结 构 预 测 与 重 日 质 设计 

和 蛋白质 结 构 预 测 和 和 蛋白 质 设计 是 生物 信息 学 的 两 个 重要 课题 ,两 者 通过 建 模 都 可 以 
转化 为 困 数 优化 问题 。 转 化 后 的 图 数 优 化 问题 的 解 空间 非 第 庞大 ,而 且 包 含 大 量 的 局 部 
最 优 解 ,于 是 ,有 学 者 提出 采用 分 布 估计 算法 解决 重 日 质 结 构 预 测 与 重 晶 质 设计 ,如 文 
献 L[45] 一 文献 L47] 等 。 

4. 其 他 应 用 

此 外 ,分 布 估 计算 法 在 多 目标 优化 “生机 嚣 学习" 模式 识别 "中 和 聚 类 分 
析 " 所 等 领域 也 取得 了 成 功 的 应 用 。 由 于 分 布 估计 算法 还 是 一 个 新 生 的 进化 算法 ,拓展 其 
应 用 领域 将 是 计算 智能 领域 的 一 个 研究 热点 。 
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. 请 指 出 分 布 估计 算法 的 思想 起 源 及 其 特点 。 

. 请 写 出 分 布 估计 算法 的 基本 算法 流程 。 

. 分布 估 计算 法 有 哪些 典型 的 概率 模型 ? 各 有 什么 优 缺点 ? 

. 分布 估计 算法 解决 离散 性 问题 和 连续 性 问题 时 有 什么 不 同 ? 

. 分布 估计 算法 在 并 行 设计 方面 有 哪些 常用 策略 ? 和 其 他 进化 算法 相 比 ,分 布 估计 
算法 在 并 行 设 计 方 面 有 什么 不 同 之 处 ? 
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6. 上 机 编写 完整 的 UMDA 程序 ,对 100 维 的 OneMax 问题 进行 求解 。 
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Memetic 算法 


在 面 对 大 规模 、 复 杂 的 优 
化 问题 时 ， 遗 传 算法 、 蚁 群 优 
化 、 粒 子 群 优化 等 计算 智能 方 
法 存在 着 收敛 速度 慢 、 难 以 寻 
找 高 精度 的 解 的 缺点 。 


可 选 的 路 径 太 多 

了 ， 怎 么 找到 最 N 

优 路 径 啊 ? END 引入 局 部 搜索 
方法 帮忙 吧 ! 


引入 局 部 搜索 方 
法 ， 对 计算 智能 方法 局 部 搜索 与 改进 
所 发 现 的 解 进 行 改进 ， “| 
将 有 效 地 提高 计算 秋 
能 方法 的 求解 效率 和 
精度 。 


Memetic 算 法 实际 上 就 是 基于 群体 的 计算 智能 方法 与 局 部 搜索 方法 相 
结合 的 一 类 新 型 的 优化 技术 。 


在 人 类 进化 的 历史 长 河中 ,人 在 具有 生物 学 意义 上 的 进化 过 程 的 同时 ,人 的 观念 、 思 
想 与 理论 体系 等 文化 属性 也 在 不 断 地 传承 和 进化 。 与 基因 (gene) 相 对 应 ,我 们 可 以 把 文 
化 属性 的 一 个 复制 和 传播 单位 理解 成 是 一 种 文化 基因 (meme)。 在 文化 进化 过 程 中 ,与 生 
物 进化 的 目 然 选择 过 程 相 类 似 , 有 利于 人 类 利益 的 优 恨 的 文化 基因 往往 能 够 得 到 不 断 地 
传承 和 发 展 。 然 而 ,与 生物 进化 过 程 所 不 同 的 是 ,文化 的 复制 ,传播 和 变异 都 由 大 量 的 专 
业 知 识 所 支撑 。 这 些 专业 知识 使 得 文化 的 变异 往往 市 来 进展 而 非 混乱 ,因此 文化 的 进化 
速度 远 快 于 生物 的 进化 速度 。 

本 草 的 主要 内 容 包 括 : 

e Memetic 算法 的 基本 思想 ; 

。 Memetic 算法 的 基本 框架 ; 

。 静态 Memetic 算法 ; 

。 动态 Memetic 算法 ; 

e Memetic 算法 的 理论 与 应 用 人 研究 展望 。 


9.1 Memetic 算法 的 基本 思想 


在 前 几 间 中, 我们 已 经 学 习 了 遗传 算法 、 蚁 群 优化 和 粒子 群 优化 等 多 种 基于 群体 的 计 
算 智 能 方法 。 这 些 计 算 智 能 方法 具有 全 局 收敛 ,健壮 性 强 、 并 行 分 布 计算 、 无 须 对 求解 目 
标 进 行 求 导 等 数学 操作 等 特点 ,目前 已 经 成 为 最 受 关注 和 应 用 最 广泛 的 一 类 全 局 优化 技 
术 。 然 而 ,在 面 对 大 规模 、 十 分 复杂 的 优化 问题 时 ,仅仅 依靠 计算 智能 方法 还 难以 找到 满 
曹 的 解 , 而 且 将 耗费 巨大 的 计算 量 。 一 些 学 者 的 先行 妍 究 表明 ,通过 把 计算 智能 方法 与 其 
他 优化 技术 混合 ,将 能 够 有 效 地 提高 算法 的 性 能 。Memetic 算法 (Memetic Algorithm, 
MA) 实 际 上 就 是 把 基于 群体 的 计算 智能 方法 和 局 部 搜索 技术 相 结 合 的 一 种 新 型 的 优化 
ER”, 

Memetic 一 词 派生 于 英国 牛津 大 学 学 者 道 金 斯 (Dawkins) 于 1976 年 所 著 的 《日 私 的 
基因 》(The Sel fish Gene) 一 书 呈 中 提出 的 一 个 概念 meme。 所 谓 meme, 在 国内 也 主 
作 ”* 砚 母 "“ 拟 子 >“ 迷 母 ? 或 "文化 基因 ?等 , 指 的 是 文化 领域 的 一 个 信息 单位 , 它 与 遗传 学 
中 的 “基因 ”(gene) 一 词 相 对 应 。 人 的 各 种 思想 、 观念、 理论 体系 和 科学 知识 ,如 一 曲 音乐 、 
一 句 谚 语 .一 幅 图 画 、 一 个 计算 机 算法 等 都 可 以 成 为 一 个 meme。 在 生物 进化 过 程 中 , 通 
过 基因 的 复制 变异 以 及 目 然 选 择 ,生物 的 构造 .机 能 和 习性 等 性 状 和 逐渐 癌 适 应 于 生存 环 
境 的 方向 发 展 。 与 这 个 过 程 相 类 似 , 各 种 meme 通过 广义 上 被 称 为 “模仿 ?的 过 程 在 人 之 
间 传 播 改变 ,有 利于 人 类 利益 的 meme 往往 能 够 得 到 不 断 的 传承 和 发 展 。 然 而 ,文化 进 
化 与 生物 进化 还 存在 看 一 个 显 闭 的 区 别 。 在 生物 进化 过 程 中 ,基因 的 变异 是 随机 的 ,只 有 
少数 的 变异 能 够 促进 生物 加 与 环境 相 适 应 的 方 回 发 展 , 并 在 目 然 选择 过 程 中 得 到 保留 , 因 
此 生物 进化 的 速度 相对 缓慢 。 在 文化 进化 过 程 中 ,新 科学 观点 的 提出 依赖 于 充分 的 理论 
依据 和 实验 观察 的 ,悦耳 曲调 的 创作 离 不 开 对 乐理 知识 的 充分 理解 ,各 种 文化 基因 的 变 
异 ,往往 都 需要 以 充分 的 专业 知识 作为 依 徘 。 在 这 些 专 业 知识 的 支撑 下 ,文化 的 变异 通常 
将 市 来 改进 而 非 混 乱 ,因此 ,文化 的 进化 速度 要 比 生 物 的 进化 速度 快 得 多 。 受 到 这 种 文化 
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进化 思想 的 启发 ,Moscato 将 局 部 的 学 习 与 优化 策略 比喻 为 一 种 meme, 把 基于 meme 
的 局 部 搜索 方法 和 基于 传统 进化 计算 的 全 局 优化 方法 相 结合 ,于 1989 年 首先 提出 了 
Memetic 算法 的 概念 。 

MA 最 初 被 提出 时 ,一般 是 指 遗 传 算法 (Genetic Algorithm,GA) 与 局 部 搜索 的 结合 ， 
因而 在 一 些 文献 中 也 被 称 为 混合 遗传 算法 (hybrid GA) 中。 近年 来 , 随 着 进化 计算 研究 
领域 的 快速 发 展 ,如 蚁 群 优 化 算法 (Ant Colony Optimization, ACO)! 和 粒子 群 优 化 算法 
(Particle Swarm Optimization,PSO) 中 等 基于 群体 的 全 局 搜索 算法 相继 被 提出 ,MA 这 
一 概念 的 内 涵 也 不 断 得 到 丰富 。 目 前 ,MA 已 经 成 为 基于 群体 的 全 局 搜索 方法 与 局 部 搜 
索 相 结合 的 一 类 算法 的 总 称 ” 。 由 于 全 局 搜索 方法 善于 探索 出 解 空 间 中 的 优秀 区 域 ,而 
局 部 搜索 则 能 够 很 快 地 发 现 局 部 区 域 中 的 最 优点 ,MA 的 核心 思想 就 是 把 它们 的 全 局 搜 
索 与 局 部 搜索 能 力 结合 起 来 "J 。 与 单纯 的 进化 算法 相 比 ,MA 往往 能 以 更 少 的 计算 代价 ， 
得 到 具有 更 高 精确 度 的 解 , 在 解决 复杂 、 高 维 、 大 规模 问题 时 具有 明显 的 优势 ,近年 来 逐渐 
受到 了 国内 外 学 者 的 重视 Do 。IEEE Congress on Evolutionary Computation 等 进化 
计算 领域 的 权威 国际 会 议 已 经 把 MA 作为 重要 的 专题 子 以 讨论 ,而 国际 期 刊 IEEE 
Part B 也 于 2007 年 出 版 了 关于 MA 


Transactions on System, Man, and Cybernetics 
的 专刊 。 

与 GA, ACO, PSO 等 概念 相 比 ,MA 具有 更 广 的 范畴 ,是 一 类 算法 的 总 称 。 因 此 本 草 
根据 Krasnogor 和 Smith" 的 综述 ,以 “框架 ”的 形式 来 描述 MA 这 类 算法 。 目 前 已 经 有 
KEW MA 被 提出 ,并 已 经 成 功 地 应 用 于 各 种 不 同类 型 的 优化 问题 ,然而 这 些 算法 往往 
都 采用 自己 特有 的 方式 把 全 局 搜索 和 局 部 搜索 结合 起 来 ,其 设计 过 程 仍然 是 ad hoc 的 ， 
即 需要 根据 不 同 应 用 的 具体 特点 进行 个 性 化 设计 ,缺乏 统一 的 指引 与 规范 2". 。 本 章 将 根 
据 全 局 搜索 与 局 部 搜索 结合 的 不 同方 式 , 把 这 些 MA 算法 划分 为 静态 与 动态 两 类 ,系统 
地 分 析 这 些 算法 的 全 局 搜索 与 局 部 搜索 结合 方式 的 特点 。 


9.2 Memetic 算法 的 基本 框架 


为 了 系统 地 分 析 目 前 已 经 被 提出 的 大 量 Memetic 算法 ,Krasnogor 和 Smitht” 提出 

了 MA 的 框架 模型 。 根 据 该 框架 ,一 个 MA 应 该 包含 如 下 的 9 PP BER BD 
MA = (P ,& ,of fspring Size , popSize.l.F.G.U.L) (9.1) 

其 中 

© 了 一 (zl,zz，…,Zzapsx) 表 示 初 始 种 群 ; 

。 SO 代表 算法 的 初始 参数 设置 ; 

e of fspringSize 表示 通过 生成 图 数 G 得 到 的 后 代 的 数目 ; 
popSize 表示 种 群 大 小 ; 
/代表 编码 长 度 ; 
下 表示 适应 值 图 数 (fitness function)。 给 定 待 解 问题 的 解 空 间 ( 即 所 有 候选 解 的 
集合 )T, 适 应 值 函数 下 是 一 个 从 解 空 间 I 到 正 实数 集 R7 的 映射 , 即 对 每 一 个 候选 
ff sE I, HEMA F(s) 是 一 个 正 实数 ; 
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。G 代表 生成 函数 (generating function) , 它 是 一 个 从 市 有 popSize 个 候选 解 的 集合 
到 带 有 of fspringSize 个 候选 解 的 集合 的 映射 。 给 定 第 有 代 的 种 群 忆 = Cat, 
Tosse) ,生成 图 数 G 作用 于 Pt 可 以 得 到 一 个 带 有 of fspringSize 个 新 解 
(后 代 ) 的 集合 OF =GCP*) = Co} ,02，*… ,00pyspringsize )。 例 如 ,GA 中 的 交叉 、 变异 算 
子 ,都 属于 生成 图 数 ; 
U 代表 更 新 图 数 Cupdating function) , 它 的 作用 是 根据 第 下 代 的 种 群 己 * 及 其 后 代 
Ot 得 到 第 & 十 1 代 的 新 种 群 PAT? BI PAT =UCP* XO)。 例如 ,GA 中 的 选择 操 
作 就 属于 更 新 函数 ; 
了 一 (L ,Ls,…,L) 是 一 个 局 部 搜索 策略 的 集合 , 称 为 局 部 搜索 策略 池 。 其 中 工 ; 
(1 硅 i 硅 m) 代 表 一 种 局 部 搜索 策略 ,也 称 为 一 个 meme。 目 前 大 部 分 的 MA 都 只 
含有 一 种 局 部 搜索 策略 , 即 mm 二 1。 当 算法 使 用 了 不 止 一 种 局 部 搜索 策略 
( 即 光 二 1) 时 , 称 该 算法 为 多 meme(multi-meme) 的 MA, 根据 这 个 框架 ,MA 的 
基本 流程 框架 如 图 9. 1 所 示 。 


CD 
采用 工 中 的 局 


0. 1 ae 部 搜索 策略 进 
Seas |“ | 行 局 部 搜索 


满足 算法 E 
结束 条 件 ? 
计算 适应 值 函 数 
采用 工 中 的 局 


P ”=U(P XOD) 利 用 更 新 ^A---]7 部 搜索 策略 进 
函数 (选择 ) 得 到 新 一 代 种 群 二 行 局 部 搜索 


采用 工 中 的 局 
O*=G(P™") 利用 生成 函数 小 -一 一 了] 部 搜索 策略 进 
(交叉 、 变 异 等 ) 生 成 新 群体 行 局 部 搜索 


图 9.1 MA 的 基本 流程 框架 


从 上 面 给 出 的 流程 框架 可 知 , 与 传统 的 进化 计算 方法 相 比 ,MA 实际 上 只 是 增加 了 一 
个 局 部 搜索 操作 , 即 增加 了 工 二 (Li ,Li,…,L) 这 个 要 素 。 然 而 ,这 个 框架 却 蕴 涵 了 MA 
各 种 各 样 不 同 的 实现 形式 ,如 表 9.1 所 示 。 其 全 局 搜索 策略 可 以 是 GA、ACO 或 PSO 等 
各 种 基于 群体 的 全 局 搜索 方法 ;局 部 搜索 策略 可 以 是 爬山 法 禁忌 搜索 、 模 拟 退 火 或 其 他 
与 具体 问题 相关 的 局 部 搜索 方法 ,甚至 是 多 种 局 部 搜索 方法 一 起 使 用 ; 局 部 搜索 可 以 与 全 
局 搜索 策略 的 生成 函数 (例如 GA 中 的 交叉 、 变异 操作 ) 相 结合 ,也 可 以 与 更 新 图 数 ( 例 如 
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GA 中 的 选择 操作 ) 相 结合 ;局 部 搜索 的 执行 可 以 依据 Lamarckian 模型 ,也 可 以 依据 
Baldwinian 模型 0 中 ;局 部 搜索 策略 可 以 作用 于 群体 中 的 某 个 个 体 之 中 ,也 可 以 作用 于 
整个 群体 。 


表 9.1 设计 MA 的 各 种 可 选 方案 
MA 的 设计 步骤 可 选择 的 方案 


进化 算法 

遗传 算法 (GA) ,进化 规划 (EP) 

进化 策略 (ES) 、 遗 传 规划 (GP) 
其 他 群体 智能 方法 

蚁 群 优 化 (ACO) ,粒子 群 优化 (PSO) 等 


{ 使 用 一 种 局 部 搜索 策略 


全 局 搜索 策略 的 选择 


爬山 法 .模拟 退火 .禁忌 搜索 、. 导 引 式 局 部 搜索 与 具体 问题 相 
关 的 特殊 局 部 搜索 策略 等 
使 用 ee memetic algortihm) 


Ej AE i PRB CAE M as 
与 更 新 函数 (选择 ) 相 结 


Lamarckian 式 


{ 由 局 部 搜索 改进 得 到 的 个 体 将 参加 进化 操作 


局 部 搜索 策略 的 选择 


局 部 搜索 的 位 置 


局 部 搜索 的 方式 Baldwinian 式 : 

由 局 部 搜索 改进 得 到 的 个 体 不 参加 进化 操作 
作用 于 整个 群体 
作用 于 部 分 个 体 
局 部 搜索 的 强度 : 每 次 局 部 搜索 的 计算 量 是 多 少 
局 部 搜索 的 频率 : 每 隅 多 和 久 进 行 一 次 局 部 搜索 


局 部 搜索 策略 的 其 他 参数 邻 域 形 状 、 邻 域 大 小 、 移 动 步 长 等 


局 部 搜索 的 对 象 


局 部 搜索 与 全 局 搜索 的 平衡 


对 于 一 个 MA 来 说 ,局 部 搜索 的 选择 以 及 全 局 搜索 与 局 部 搜索 的 结合 方式 将 直接 影 
啊 到 算法 性 能 的 好 坏 "*?3s 4 。 因 此 ,设计 一 个 高 性 能 的 MA 必须 考虑 以 下 四 方面 的 问题 : 
(1) 应 该 选择 什么 局 部 搜索 策略 ; (2) 应 该 在 什么 时 候 执 行 局 部 搜索 ; (3) 应 该 针对 哪些 
个 体 进行 局 部 搜索 ,应 该 采用 Lamarckian 模型 还 是 Baldwinian 模型 ; (4) 如 何平 衡 算法 
的 全 局 搜索 能 力 和 局 部 搜索 能 力 。 

基于 局 部 搜索 与 全 局 搜索 的 各 种 不 同 的 结合 方式 ,目前 已 经 有 多 种 针对 MA 的 分 类 
方式 被 提出 。 例 如 Krasnogor 和 Smith‘?! 以 执行 局 部 搜索 的 位 置 为 依据 ,按照 “局 部 搜索 
是 否 引 入 了 历史 信息 ?”“ 局 部 搜索 是 否 与 选择 算 子 (更 新 图 数 ) 相 绪 合 ”"“ 局 部 搜索 是 否 与 
交叉 算 子 相 结合 ”以 及 “局 部 搜索 是 否 与 变异 算 子 相 结合 ”来 实现 对 MA 的 分 类 。 本 划 依 
据 局 部 搜索 的 设置 在 算法 执行 过 程 中 是 否 会 被 调整 ,把 MA 划分 为 静态 MA 和 动态 MA 
两 类 。 其 中 ,静态 MA 的 局 部 搜索 设置 在 算法 执行 的 整个 阶段 都 是 固定 不 变 的 ,而 动态 
MA 的 局 部 搜索 设置 在 算法 执行 的 过 程 中 能 够 不 断 得 到 调整 。 下 面 两 节 将 先 描述 静态 
MA ,并 分 析 执 行 局 部 搜索 的 不 同位 置 以 及 不 同方 式 所 各 自 具 有 的 特点 ,然后 再 介绍 动态 
MA 的 分 类 以 及 目前 最 重要 的 几 种 动态 MA。 
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9.3 静态 Memetic 算法 


目前 已 被 提出 的 MA 大 部 分 都 是 静态 的 ”3” 。 这 些 静 态 的 MA 一 般 只 采用 一 种 局 
部 搜索 策略 ,局 部 搜索 的 执行 位 置 和 方式 都 是 预先 确定 的 ,并 且 在 整个 算法 的 执行 过 程 中 
保持 不 变 。 其 中 ,局 部 搜索 策略 的 选择 往往 与 具体 问题 的 特征 相关 ,因此 这 里 主要 讨论 执 
行 局 部 搜索 的 不 同位 置 和 方式 所 具有 的 特点 。 


9.3.1 局 部 搜索 的 位 置 


根据 Krasnogor 和 Smithl9 给 出 的 框架 模型 (参考 图 9.1) 可 知 ,在 算法 的 每 一 次 迭 
代 过 程 中 ,局 部 搜索 一 般 可 以 安排 在 两 个 位 置 执行 , 即 与 生成 函数 相 结 合 或 与 更 新 冰 数 相 
结合 。( 注 意 : 一 些 文献 中 也 把 局 部 搜索 作用 于 初始 解 , 以 提高 初始 解 的 质量 ,但 这 一 般 
只 作为 一 种 辅助 方法 。) 

1. 与 生成 函数 相 结合 的 局 部 搜索 

在 以 GA 作为 全 局 搜索 方法 的 MA 中 ,局 部 搜索 与 生成 图 数 相 结合 的 典型 方式 是 在 
GA 的 交叉 和 变异 操作 中 加 入 局 部 搜索 。 一 种 简单 的 形式 是 在 交叉 或 变异 操作 之 后 , 利 
用 局 部 搜索 策略 进一步 改进 新 生成 的 解 。 例 如 ,文献 L19] 设 计 了 一 种 用 于 求解 大 规模 旅 
行商 问题 的 MA, 对 于 由 交叉 操作 或 变异 操作 产生 的 每 一 个 新 个 体 , 算 法 都 引入 Lin- 
Kernighan 司 发 式 方 法 进行 局 部 搜索 。 与 文献 L19] 相 类 似 , 文 献 L20] 对 交 义 或 变异 操作 
得 到 的 新 个 体 引 入 禁忌 搜索 策略 作为 局 部 搜索 ,提出 了 蜂 需 移动 网 络 中 切换 蜂 格 的 MA. 
文献 L5]L21jL22J 则 只 对 交叉 和 变异 操作 都 执行 完毕 后 得 到 的 新 个 体 进 行 局 部 改进 。 在 
国内 ,文献 L23] 一 文献 L25] 分 别提 出 了 求解 多 约束 背包 问题 、 机 场 停机 位 分 配 问题 和 集装箱 
配 装 问题 的 MA, 这 些 算 法 的 局 部 搜索 策略 都 是 作用 于 由 交叉 和 变异 操作 得 到 的 新 个 体 。 

局 部 搜索 与 交叉 和 变异 算 子 结合 的 另 一 种 形式 是 根据 待 解 问题 的 特点 修改 交叉 算 子 
和 变异 操作 ,使 得 交叉 和 变异 操作 也 具有 局 部 搜索 能 力 。 在 连续 空间 的 优化 问题 领域 , 文 
献 [26 ] 和 文献 [27] 采 用 了 具有 局 部 搜索 能 力 的 单纯 型 交叉 (simplex crossover) $E AR 
了 原 有 的 单 点 交叉 算 子 , 称 这 类 具有 局 部 搜索 能 力 的 特殊 交叉 算 子 为 基于 交叉 的 局 部 搜 
索 (crossover-based local search), M MK] 22 |、| 28 |]、|[ 29 | 则 采用 了 高 斯 变异 (Gaussian 
mutation) 或 柯 西 变异 (Cauchy mutation) 来 提高 进化 算法 的 局 部 搜索 能 力 。 在 离散 空间 
的 优化 问题 领域 ,文献 L30」L314 引 入 了 一 种 边 重 组 交叉 (Edge Assembly Crossover, 
EAX) 算 子 来 提高 GA 解决 旅行 商 问 题 (Traveling Salesman Problem, TSP) MY fy J wB 48 
索 能 力 。 其 中 ,文献 L30]j 迭 代 地 使 用 边 重 组 交叉 策略 直到 发 现 更 好 的 解 , 而 文献 L31] 则 进 
一 步 引 入 2-opt 局 部 搜索 算法 改进 交 义 后 得 到 的 解 。 

除了 在 交叉 和 变异 算 子 上 添加 局 部 搜索 之 外 ,部 分 学 者 ”5 也 尝试 在 PSO 的 速度 
更 新 公式 与 位 置 更 新 公式 中 引入 局 部 搜索 策略 ,以 进一步 提高 PSO 的 收敛 速度 。 

在 上 述 MA 中 ,由 于 局 部 搜索 伴随 着 生成 函数 而 执行 ,因此 在 一 般 情况 下 ,局 部 搜索 
能 够 作用 到 每 个 新 生成 的 个 体 之 上 ,Krasnogor 和 Smith" 称 这 种 方式 为 细 粒 度 Cine- 
grain) 方 式 的 MA。 这 种 方式 的 优点 是 使 得 各 个 新 个 体 都 得 到 了 一 定 程 度 的 局 部 改进 ， 
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提高 了 个 体 的 质量 。 然 而 ,由 于 生成 浮 数 往往 只 依赖 于 某 些 个 体 ( 例 如 交叉 操作 一 般 只 
于 2 不 不 栖 进 行 ,而 变异 操作 往往 只 焦 瑚 于 1 sis ANEA AE A 
体 的 信息 ,而 不 能 利用 整个 群体 的 信息 。 同 时 ,对 所 有 新 生成 的 个 体 都 进行 局 部 搜索 也 可 
能 造成 较 大 的 计算 量 。 为 了 避免 对 各 个 个 体 都 进行 局 部 搜索 而 市 来 的 庞大 计算 量 , 部 分 
算法 通过 各 种 方式 减少 局 部 搜索 的 执行 次 数 。 例 如 文献 [34] 仅 对 适应 值 优 于 国 值 的 个 体 
进行 局 部 搜索 。 

2. 与 更 新 函数 相 结 合 的 局 部 搜索 

部 分 MA 也 尝试 把 局 部 搜索 策略 与 更 新 图 数 (GA 的 选择 算 子 ) 相 结合 。 也 就 是 说 ， 
在 通过 生成 图 数 产生 了 后 代 OF 后 ,算法 把 局 部 搜索 策略 引入 到 从 PE 和 0O* 所 构成 的 群 
体 中 筛选 出 新 一 代 种 群 的 过 程 中 。 例 如 ,Tu 和 Lu 在 GA 中 引入 了 一 种 局 部 选择 
(local selection) 策略 ,该 策略 对 每 一 个 染色 体 所 表示 的 区 域 按照 正 态 分 布 进行 随机 取样 ， 
并 根据 取样 结果 调整 区 域 的 属性 。 

Krasnogor #I Smitht 称 这 种 局 部 搜索 与 更 新 图 数 相 结合 的 方式 为 粗 粒 度 的 
(coarse-grain) 方 式 的 MA。 在 这 种 方式 下 ,局 部 搜索 可 以 作用 到 由 Pt A O* 构成 的 整个 
群体 之 上 。 这 样 , 一 方面 ,局 部 搜索 操作 能 够 利用 整个 群体 的 全 局 信息 来 指导 搜索 ,能 有 
效 地 提高 局 部 搜索 的 针对 性 ; 男 一 方面 ,未 必 所 有 新 个 体 都 能 得 到 局 部 改进 ,有 了 时 只 有 适 
应 值 较 高 的 个 体能 够 得 到 进一步 的 局 部 改进 。 


9.3.2 ”Lamarckian 模式 和 Baldwinian 模式 


在 进化 算法 中 引入 局 部 搜索 的 主要 模式 包括 Lamarckian 模式 (可 译作 拉 马 殉 式 ) 和 
Baldwinian 模式 。Lamarckian 模式 指 的 是 “后 天 获取 的 特性 也 可 以 遗传 ”, 也 就 是 说 ,在 采用 
局 部 搜索 策略 改进 了 某 个 个 体 之 后 ,改进 了 的 个 体 将 (代替 原 有 个 体 ) 参 与 全 局 搜索 方法 的 
进化 操作 。 相 反 地 ,在 Baldwinian 模式 中 ,被 局 部 搜索 策略 改进 了 的 个 体 不 会 代 蔡 原 有 个 体 
参与 进化 操作 ,交叉 、 变 异 等 进化 算 子 仍然 只 作用 于 未 被 局 部 搜索 改进 的 个 体 上 。 

目前 , 绝 大 部 分 的 MA 都 采用 了 Lamarckian 模式 的 局 部 搜索 。 事 实 上 ,Lamarckian 
模式 的 局 部 搜索 能 够 把 由 局 部 搜索 改进 得 到 的 更 优 个 体 引 入 进化 过 程 ,文献 L10]L36 等 
的 实验 结果 也 证 明了 在 一 般 情 况 下 ,Lamarckian 模式 比 Baldwinian 模式 具有 更 高 的 性 
能 。 然 而 ,Krasnogor 和 Smithlo 也 指出 ,如 果 不 断 执行 Lamarckian 模式 局 部 搜索 直至 
某 些 个 体 落 入 局 部 最 优 , 可 能 会 减少 算法 的 搜索 多 样 性 ,导致 算法 陷于 停 浪 , 这 时 需要 来 
用 局 部 搜索 与 更 新 函数 相 结 合 的 粗 粒 度 方式 ,根据 整个 群体 的 分 布 状态 来 确定 局 部 搜索 
策略 。 


9.4 动态 Memetic 算法 


941 动态 MA 的 简介 与 分 类 


在 静态 MA 中 ,如 表 9. 1 所 示 的 所 有 局 部 搜索 设置 部 要 在 算法 执行 前 预先 确定 ,这 
往往 需要 依赖 于 算法 设计 者 的 先 验 知识 。 事 实 上 ,目前 对 局 部 搜索 策略 的 选择 、 局 部 搜索 
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的 位 置 .局 部 搜索 的 强度 和 频率 等 设 定 还 没有 统一 的 规范 和 指引 ,算法 设计 者 需要 开展 大 
量 实验 来 发 现 适用 于 待 解 问 题 的 局 部 搜索 设 定 方式 ,这 削弱 了 MA 的 健壮 性 ,限制 了 
MA 在 实际 生产 中 的 各 种 问题 上 的 进一步 应 用 。 为 了 进一步 提高 MA 的 普 适 性 与 健壮 
性 ,一 些 学 者 3" 时 提 出 了 在 算法 执行 过 程 中 自动 调节 局 部 搜索 设置 的 策略 ,能 够 自 
动 调节 局 部 搜索 设置 的 MA 就 属于 动态 MA, 

由 于 局 部 搜索 策略 的 选择 是 MA 中 最 核心 的 局 部 搜索 设置 ,因此 ,许多 动态 MA 都 
采用 了 多 种 局 部 搜索 策略 , 即 属于 multimeme 的 MACHOS] 。 动 态 多 局 部 搜索 的 动 
态 MA 的 流程 图 如 图 9. 2 所 示 。 在 执行 局 部 搜索 前 ,这 类 多 局 部 搜索 策略 的 动态 MA 将 
先 从 局 部 搜索 策略 池 工 二 (Li Le ,…,L。) 中 按照 某 些 规则 自 适 应 地 选择 出 一 种 局 部 搜索 
策略 ,并 采用 该 局 部 搜索 策略 对 个 体 进 行 局 部 改进 。 除 此 以 外 ,一 些 动 态 MA 也 考虑 了 
对 邻 域 半 径 移动 步 长 等 局 部 搜索 参数 的 自 适应 调节 中 。 


生成 初始 种 群 P” 
和 参数 5° 


满足 算法 是 
结束 条 件 ? 
a 
Th AB PA 


从 工 中 选择 出 一 种 
局 部 搜索 策略 L; 


结束 
返回 最 优 解 


O*1=G(PM) 利 用 
生成 函数 生成 新 群体 


图 9.2 动态 多 局 部 搜索 的 MA 的 流程 图 


现 有 的 动态 MA 主要 包括 Ong 和 Keane 提出 的 带 Meta-Lamarckian 学 习 机 制 的 
MA ,Cowling 等 中 提出 的 超 启发 式 (hyperheuristic)MA, 以 及 Smith 等 52234072 提 出 的 协同 
进化 (coevolving)MA。 针 对 已 有 的 各 种 动态 MA 算法 ,Ong 等 " 引 提 出 了 一 种 分 类 方案 。 
该 分 类 方案 按照 动态 调整 的 类 型 把 动态 MA 划分 为 静态 .适应 和 目 适 应 三 类 

(1) MEW (static): 算法 并 没有 采用 任何 在 执行 过 程 中 在 线 获 得 的 反馈 信息 来 调节 


SO ”Memetic 算 法 


局 部 搜索 设置 ,而 只 采用 了 预先 定义 好 的 规则 来 调整 局 部 搜索 设置 。 在 这 种 情况 下 ,对 局 
部 搜索 设置 的 调整 规则 往往 也 只 能 依靠 算法 设计 者 的 先 验 知 识 来 设 定 。 因 此 ,这 种 类 型 
的 动态 MA 实质 上 已 经 退化 为 静态 的 MA。 

(2) 适应 型 (adaptive) : 算法 利用 了 在 执行 过 程 中 在 线 获得 的 反馈 信息 来 调节 局 
部 搜索 设置 ,其 中 又 可 以 划分 为 定性 (qualitative) 调 世 和 和 定量 (quantitative) 调 
PAF. 

(3) 自 适 应 型 (self-adaptive) : 算法 把 局 部 搜索 设置 的 相关 信息 也 编码 到 个 体 中 , 伴 
随 着 算法 的 执行 ,局 部 搜索 设置 也 将 不 断 得 到 进化 。 因 此 , 目 适 应 的 动态 MA 有 时 也 被 
称 为 协同 进化 的 MA。 

按照 动态 调整 的 日 适应 层次 ,也 可 以 把 动态 MA 划分 为 外 部 .局 部 和 全 局 三 类 : 

(1) 外 部 型 (external) : 算法 只 采用 了 外 部 的 先 验 知 识 来 调整 局 部 搜索 设置 ,而 没有 
采用 算法 执行 过 程 在 线 获得 的 反馈 信息 。 外 部 的 MA 一 般 都 属于 静态 MA. 

(2) 局 部 型 (local) : 算法 仅仅 采用 了 局 部 搜索 过 程 中 获取 的 部 分 反馈 信息 来 调整 局 
部 搜索 设置 。 

(3) 全 局 型 (global) : 算法 采用 了 搜索 过 程 中 的 全 部 反馈 信息 来 调整 局 部 搜索 设置 。 

接 下 来 ,本 市 将 重点 介绍 市 Meta-Lamarckian 学 习 机 制 的 MA、 超 局 发 式 MA 和 协 


同 进化 MA 这 三 种 主要 的 动态 MA 算法 ,并 按照 上 述 分 类 方式 对 这 些 动 态 MA 进行 


94.2 Meta-Lamarckian 学 习 型 MA 


在 文献 | 37j] 中 ,Ong 和 Keane 提出 了 Meta-Lamarckian 学 习 的 概念 。 如 果 一 个 MA 
在 每 次 执行 局 部 搜索 之 前 ,都 先 从 局 部 搜索 策略 池 中 选择 出 一 种 局 部 搜索 方法 ,并 采用 
Lamarckian 方式 执行 该 局 部 搜索 , 则 称 这 种 MA 为 带 Meta-Lamarckian 学 习 的 MA, 
Ong 和 Keane? iit T = FRA, Meta-Lamarckian 学 习 的 MA: 基本 Meta-Lamarckian 学 
习 方 案子 问题 分 解 的 启发 式 搜索 方案 以 及 带 偏 问 性 轮 盘 赌 的 随机 搜索 方案 。 

1. 基本 Meta-Lamarckian 学 习 方案 

基本 Meta-Lamarckian 学 习 方 案 采 用 了 一 种 简单 的 随机 游 走 方案 来 选择 局 部 搜索 策 
略 。 在 这 种 方案 下 ,算法 每 次 执行 局 部 搜索 之 前 都 从 局 部 搜索 策略 池 中 随机 地 选择 一 种 
局 部 搜索 方法 。 显 然 ,这 种 方案 并 没有 借鉴 任何 在 搜索 过 程 中 在 线 得 到 的 反馈 信息 ,因此 
属于 表态、 外 部 型 的 MA。 

2. 子 问题 分 解 的 启发 式 搜索 方案 

子 问题 分 解 的 启发 式 搜 索 方 案 的 Meta-Lamarckian 学 习 方 式 如 图 9. 3(a) 所 示 。 在 
MA 的 最 初 前 g 次 迭代 中 (g 是 一 个 预先 设 定 的 参数 ) ,算法 仍然 采用 随机 游 走 的 方式 来 
选择 局 部 搜索 策略 。 随 后 ,算法 在 每 次 执行 局 部 搜索 之 前 ,首先 从 局 部 搜索 初始 点 的 邻 域 
中 寻找 & 个 曾经 搜索 过 的 点 (例如 ,可 以 选择 离 局 部 搜索 初始 点 的 欧 几 里 德 距 离 最 近 的 帮 
个 曾经 搜索 过 的 点 ) ,统计 在 这 个 点 上 曾经 使 用 过 的 局 部 搜索 策略 所 对 应 的 适应 值 。 最 
后 ,算法 将 采用 在 该 邻 域内 具有 最 大 平均 适应 值 的 局 部 搜索 策略 。 
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统计 局 部 搜索 初始 点 的 邻 域 中 的 历 


id ,来 用 在 该 久 LL pe 
et ha eestor hes 执行 了 局 部 搜索 后 ,根据 局 部 
w 


搜索 取得 的 适应 值 改进 情况 调 
整 局 部 搜索 的 被 选择 概率 


A 局 部 搜索 8 


初始 时 ， 各 种 局 部 搜索 策 ”随后 ,各 种 局 部 搜索 策略 
略 具 有 相同 的 被 选择 概率 “具有 不 同 的 被 选择 概率 


(a) 子 问题 分 解 的 启发 式 搜索 方案 (b) 再 俩 同性 轮 盘 赌 的 随机 搜索 方案 
图 9.3 两 种 在 线 调节 局 部 搜索 策略 的 Meta-Lamarckian 学 习 机 制 237 


这 种 策略 侍 鉴 了 历史 信息 来 在 线 调 节 局 部 搜索 设置 ,因此 属于 适应 型 的 动态 MA, 
男 一 方面 ,这 种 策略 只 采用 了 邻 域内 的 历史 信息 ,而 不 是 采用 全 局 历史 信息 ,因此 属于 局 
部 型 的 动态 MA。 

3. 市 偏向 性 轮 盘 赌 的 随机 搜索 方案 

市 偏 癌 性 轮 盘 赌 的 随机 搜索 方案 的 Meta-Lamarckian 学 习 方式 如 图 9.3(b) 所 示 。 
这 种 MA 采用 了 轮 盘 赌 机 制 来 选择 局 部 搜索 策略 。 在 算法 开始 时 ,各 种 局 部 搜索 策略 被 
选择 的 概率 是 相同 的 。 算 法 首先 按照 随机 给 定 的 次 序 把 每 一 种 局 部 搜索 策略 都 执行 一 
次 ,并 根据 各 种 局 部 搜索 策略 所 市 来 的 适应 值 改进 幅度 来 调节 局 部 搜索 被 选择 的 概率 。 
随后 ,算法 在 每 次 执行 局 部 搜索 之 前 都 采用 轮 盘 赌 方式 选择 一 种 局 部 搜索 策略 ,并 在 局 部 
搜索 执行 完毕 后 更 新 该 局 部 搜索 策略 被 选择 的 概率 。 文 献 L8] 也 采用 了 类 似 的 机 制 来 选 
择 局 部 搜索 策略 。 

与 子 问 题 分 解 的 启发 式 搜 索 方 案 类 似 ,市 偏 回 性 轮 盘 赌 的 随机 搜索 方案 也 属于 适应 
型 的 动态 MA。 由 于 审 偶 回 性 轮 盘 赌 的 随机 搜索 方案 采用 了 全 局 的 历史 信息 而 非 局 部 信 
息 , 因 此 它 还 属于 全 局 型 的 动态 MA, 


9.43 超 启 发 式 MA 


传统 的 MA 往往 利用 了 与 待 解 问题 或 搜索 区 域 相关 的 局 发 式 方法 (heuristic) 来 进行 
局 部 搜索 。 由 于 这 些 启发 式 问 题 是 相关 的 ,为 了 提高 算法 的 健壮 性 ,Cowling 45% 提出 
了 超 启 发 式 (hyperheuristic) 的 概念 ,利用 与 问题 无 关 的 “ 超 局 发 式 ” 自 动 地 选择 合适 的 局 
发 式 来 进行 局 部 搜索 。Cowling 等 把 “ 超 局 发 式 ” 分 为 三 类 , 即 随机 超 启发 式 、 贪 心 超 启发 
式 和 基于 选择 男 数 的 超 司 发 式 。 

1. 随机 超 启发 式 吕 9098 

随机 超 启 发 式 包 括 Simplerandom, Randomdescent 和 Randompermdescent 三 种 。 
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Simplerandom 方式 与 基本 Meta-Lamarckian 学 习 方 案 相 类 似 , 该 方式 完全 随机 地 选择 局 
部 搜索 策略 ,并 且 各 种 局 部 搜索 策略 的 被 选择 概率 保持 不 变 。 因 此 ,Simplerandom 属于 
静态 、 外 部 型 的 MA. Randomdescent 方式 初始 时 也 完全 随机 地 选择 局 部 搜索 策略 ,当选 
择 了 一 种 局 部 搜索 策略 后 ,Randomdescent 将 一 直 采 用 该 局 部 搜索 策略 ,直到 该 局 部 搜索 不 
能 取得 适应 值 更 好 的 改进 解 为 止 。Randompermdescent 方式 与 Randomdescent 方式 类 似 , 只 
是 初始 化 时 并 不 是 随机 地 选择 局 部 搜索 策略 ,而 是 先 随 机 地 生成 一 个 局 部 搜索 策略 序列 , 按 
照 该 序列 给 定 的 顺序 来 选择 局 部 搜索 。Randomdescent 和 Randompermdescent 都 属于 适应 、 
局 部 型 的 MA。 

2. 贪心 超 启 发 式 " 3 

贪心 超 启发 式 把 所 有 的 局 部 搜索 策略 都 作用 到 局 部 搜索 的 初始 点 上 ,然后 选择 能 够 
获取 最 大 改进 幅度 的 局 部 搜索 策略 。 显 然 , 这 种 方式 将 导致 巨大 的 计算 量 。 贪 心 超 启 发 
式 也 是 属于 适应 、 局 部 型 的 MA。 

3. 基于 选择 函数 的 超 启发 式 吕 538 

在 基于 选择 了 苑 数 的 超 局 发 式 的 MA 中 ,每 次 选择 局 部 搜索 策略 前 ,算法 都 计算 每 
种 局 部 搜索 策略 的 选择 孔 数 下。 下 由 三 个 部 分 构成 ,包括 该 局 部 搜索 策略 最 近 取 得 的 
改进 幅度 ,该 局 部 搜索 策略 与 其 他 局 部 搜索 策略 连续 应 用 时 能 够 取得 的 改进 幅度 ,以 
及 距离 上 一 次 使 用 该 局 部 搜索 策略 的 时 间 长 短 。 在 评价 了 各 种 局 部 搜索 策略 的 选择 
图 数 后 ,算法 将 直接 选择 具有 最 大 选择 男 数 值 的 局 部 搜索 策略 ( 称 为 Straightchoice) ,或 
者 采用 选择 男 数 值 最 高 的 右 干 个 局 部 搜索 策略 ( 称 为 Rankchoice) ,或 者 按照 轮 盘 赌 方 
式 选择 局 部 搜索 策略 ( 称 为 Roulettechoice) 。 基 于 选择 函数 的 超 局 发 式 属于 适应 \、 全 局 
型 的 MA。 


94.4 协同 进化 MA 


在 人 类 的 进化 历史 中 ,生物 进化 与 文化 进化 相互 联系 ,相互 影响 ,是 一 个 协同 进化 的 
过 程 。 受 此 启发 ,在 文献 [13]、[17]、[39]、[40] 中 ,不 仅 候 选 解 被 编码 到 个 体 的 基因 中 ,局 
部 搜索 的 相关 设置 也 被 编码 到 个 体 的 文化 基因 (meme) 中 ,基因 与 文化 基因 一 起 在 算法 执 
行 过 程 中 协同 进化 ,这 种 类 型 的 MA 就 称 为 协同 进化 (coevolving) 的 MA。Krasnogor 和 
Gustafson] 也 把 这 类 算法 称 为 自生 的 (selfgenerating) 的 MA. 

协同 进化 MA 的 流程 图 如 图 9.4 所 示 。 算 法 首先 需要 把 各 种 局 部 搜索 设置 (包括 局 
部 搜索 策略 、 局 部 搜索 的 执行 方式 以 及 局 部 搜索 深度 、 频 率 、 邻 域 大 小 等 各 种 参数 ) 编 码 成 
文化 基因 。 这 样 ,每 个 个 体 不 仅 具 有 代表 候选 解 的 基因 ,还 具有 代表 局 部 搜索 设置 的 文化 
基因 。 在 每 次 迭代 中 ,算法 不 仅 通 过 选择 、 交 又 和 变异 算 子 来 进化 各 个 个 体 的 基因 ,还 利 
用 这 些 进化 操作 来 进化 各 个 个 体 的 文化 基因 。 最 后 ,每 个 个 体 都 按照 它 的 文化 基因 所 代 
表 的 局 部 搜索 方式 对 其 基因 进行 局 部 改进 (注意 ,图 9.4 中 的 流程 图 参考 了 文献 L13] 给 出 
T 3 种 不 同 的 选择 方式 , 即 直 接 保留 上 一 代 的 文化 基因 、 根 据 文 化 基因 的 适应 值 采 用 轮 盘 
赠 方 式 选择 文化 基因 ,或 随机 地 选择 文化 基因 ) 。 

除了 上 述 提 到 的 动态 MA 外 ,文献 L41j 一 文献 L43] 也 分 别提 出 了 不 同 的 动态 MA 算 
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根据 基因 的 适应 值 ，| ， 
选择 出 新 一 代 种 群 | ， 


操作 ， 得 到 下 一 代 群 体 直接 选择 上 一 按照 文化 基因 
代 的 文化 基因 的 适应 值 选 择 

对 文化 基因 (meme) 
进行 进化 操作 


对 选择 出 的 文化 基因 群 
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每 个 个 体 都 按照 它 的 文 | 
化 基因 所 表示 的 局 部 搜 | \ 
索 方式 来 进行 局 部 搜索 


k=k+1 


图 9.4 协同 进化 MA 的 流程 图 


法 。 按 照 9.4. 1 节 介 绍 的 分 类 方式 5055 ,上 述 动 态 MA 的 分 类 如 表 9. 2 所 示 。 
表 9.2 动态 MA 的 分 类 


T EEC 


基本 Meta-Lamarckian 学 


外 部 871, Simplerandom" , 
(external) | 多 局 部 搜索 (multi-local- 


search) MA] 
局 部 子 问题 分 解 的 局 BRIG RS ,贪心 | 协同 进化 MALU (或 
dice #8 启 发 xR", Randomdescent', | 自生 MA“ ), 自 适 
Randompermdescent'""! , 应 MA42] 
带 偏向 性 轮 盘 财 的 随机 搜索 c , 基 
全 局 于 PSO 的 MA ,基于 选择 函数 的 
(global) 超 启 Fe ROCCE] , 快速 适应 MA 


(fast adaptive MA) 
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9.5 Memetic 算法 的 理论 与 应 用 研究 展望 


1. MA 的 理论 研究 进展 

在 Memetic 算法 的 理论 研究 领域 ,为 了 系统 地 分 析 现 有 的 MA, Krasnogor 和 
Smitht 叫 提出 了 一 种 语法 框架 来 描述 MA。 该 语法 框架 的 九 种 基本 要 素 已 经 在 9. 2 节 中 
给 出 。 根 据 该 语法 框架 ,任意 一 种 MA 都 可 以 由 这 些 基 本 要 素 以 及 相关 的 语法 关系 表示 
出 来 ,并 可 以 实现 对 MA 的 分 类 。 该 语法 框架 为 分 析 各 种 MA 的 特性 提供 了 依据 。 

针对 动态 的 MA, Ong 等 中 以 传统 遗传 算法 的 收敛 性 为 基础 ,利用 马尔 可 夫 链 理论 
进一步 证 明了 外 部 、 局 部 和 全 局 三 类 适应 型 的 动态 MA 的 收敛 特性 ,并 结合 实验 分 析 ,发 
现 全 局 、 适 应 型 的 动态 MA 往往 能 够 取得 较 好 的 性 能 。 

除了 上 述 理论 分 析 以 外 ,Ong 等 55 指出 目前 对 MA 的 搜索 行为 .性 能 和 收敛 性 的 相 
关 理 论 分 析 还 基本 处 于 空白 状态 。 从 理论 上 更 深入 地 分 析 MA 的 搜索 机 制 ,将 有 助 于 提 
出 更 高 效 的 MA, 是 MA 领域 的 一 个 重要 研究 分 支 。 

2. MA 的 应 用 研究 进展 

MA 能 够 把 进化 算法 和 局 部 搜索 算法 的 全 局 与 局 部 搜索 能 力 结合 起 来 ,在 解决 复杂 、 
大 规模 问题 时 具有 明显 的 优势 。MA 目前 已 经 广泛 地 应 用 于 连续 空间 和 离散 空间 领域 的 
各 类 优化 问题 之 中 ,具有 广阔 的 应 用 前 景 。 例 如 ,在 连续 空间 的 优化 问题 领域 ,文献 L28]、 
L29」L35」L37j 等 提出 的 MA 在 求解 连续 男 数 优化 问题 时 取得 了 民 好 的 性 能 ;在 离散 空 
间 的 优化 问题 领域 ,MA BP HI ZE te IT HATS 、 二 次 分 配 (Cquadratic assignment 
problem)” , 4224 5 77 4°") All it 4 [al J) RE (flowshop scheduling problem) 等 组 合 优化 问 
题 上 成 功 应 用 ,其 中 文献 L19j 还 在 含有 百 万 个 以 上 城市 的 TSP 实例 中 发 现 了 比 已 知 最 优 
解 更 短 的 路 径 。 除 此 以 外 ,MA 成 功 地 应 用 在 蛋白 质 结 构 预 测 ”5 、 蜂 窝 移 动 网 络 的 蜂 格 
HHA 、 机 场 停机 位 分 配 '"5 、 集 装 箱 配 装 2 、 超 大 规模 集成 电路 布线 555 、 永 磁 同 步 电 动 
机 控制 :和 1、 癌症 的 化 疗 方 案 设 计 ' 针 和 波 分 多 路 复 用 (wavelength division multiplexing) 
网 络 中 的 共享 通道 保护 算法 设计 5 等 实际 优化 问题 之 中 。 

如 何 进 一 步 拓展 MA 的 应 用 领域 ,在 更 多 实际 应 用 中 发 挥 MA 的 特有 优势 ,一 直 是 
MA 领域 的 研究 热点 。 

3. MA 的 发 展 趋 势 

由 于 MA 在 局 部 搜索 与 全 局 搜索 相 结 合 的 过 程 中 存在 着 大 量 的 选择 方案 和 参数 设 
置 , 如 何 避 人 免 对 人 为 先 验 知识 的 依赖 ,增强 算法 的 普 适 性 和 和 鲁 棱 性 ,并 尝试 把 MA 应 用 到 
更 复杂 的 问题 之 中 ,是 目前 MA 发 展 的 主要 趋势 。 近 年 来 出 现 的 较 具 影响 力 的 MA 发 展 
方 问 包括 以 下 几 项 。 

(1) 目 适 应 和 协同 进化 的 MA 

在 9.4.4 节 已 经 提 到 ,通过 把 局 部 搜索 设置 也 编码 到 文化 基因 (meme) 中 ,协同 进化 
MA 可 以 实现 对 代表 候选 解 的 基因 和 代表 局 部 搜索 设置 的 文化 基因 的 共同 进化 ,从 而 避 
免 了 对 局 部 搜索 方式 的 人 为 设 定 ,增强 了 MA 的 健壮 性 。 如 何 从 理论 上 分 析 协 同 进化 
MA 的 搜索 行为 和 收敛 特性 ,从 算法 设计 的 角度 完善 协同 进化 的 方式 ,仍然 有 竺 进一步 的 
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RRON, 

(2) 多 目标 MA 

求解 多 目标 优化 问题 的 MA 近年 来 已 经 逐渐 成 为 MA 领域 的 研究 热点 之 一 。 
文献 [18]、[46]、[47] 提 出 的 多 目标 MA 算法 ,已 经 初步 取得 了 较 好 的 性 能 。 多 目标 优化 
问题 要 求 算法 能 够 发 现 问 题 的 帕 累 托 前 沿 解 集 , 而 非 单 个 最 优 解 。 因 此 ,多 目标 优化 往往 
要 求 算法 能 够 保持 足够 的 搜索 多 样 性 ,这 进一步 增 大 了 维持 MA 中 局 部 搜索 与 全 局 搜索 
的 平衡 的 难度 " 引 。 如 何 维 持 局 部 搜索 和 全 局 搜索 的 平衡 ,如 何 设 计 适 用 于 多 目标 优化 的 
自 适 应 方案 ,都 将 是 多 目标 MA 研究 领域 值得 关注 的 问题 。 

(3) 基于 智能 体 (agent-based) 的 MA 

多 智能 体系 统 (multi-agent system) 是 指 由 多 个 相互 影响 的 智能 体 所 构成 的 系统 ,各 
个 智能 体 分 别 具 有 自治 、 局 部 认 知 、 全 局 认 知 等 特性 。 利 用 多 智能 体系 统 和 元 启发 式 
(meta-heuristic) 算 法 之 间 的 相似 性 , Milano 和 Roli’ 提出 了 元 启发 式 算 法 的 多 智能 体 
体系 结构 。GA、ACO、PSO 以 及 MA 都 属于 典型 的 元 局 发 式 算法 。 因 此 ,通过 把 群体 看 
成 是 多 个 智能 体 的 集合 ,把 多 智能 体系 统 的 特性 引入 MA. Ullah 等 (外 提出 了 基于 智能 体 
的 MA, 并 发 现 多 智能 体 的 特性 将 有 助 于 进一步 提高 MA 的 性 能 。 基 于 智能 体 的 MA H 
前 还 是 一 个 刚刚 起 步 的 研究 领域 ,2009 年 的 IEEE 进化 计算 国际 会 议 (CEC2009) 将 有 一 
个 独立 的 专题 探讨 基于 智能 体 的 MA, 


9.6 AF YJAM 


1. 请 指出 Memetic 算法 的 基本 思想 来 源 。 

2. Memetic 算法 与 遗传 算法 、 蚁 群 优 化 ,粒子 群 优化 等 基于 群体 的 计算 智能 方法 相 
比 ,最 根本 的 区 别 是 什么 ”这 些 区 别 将 带 来 什么 好 处 ? 

3. 什么 是 静态 的 Memetic 算法 ? 什么 是 动态 的 Memetic 算法 ? 两 者 的 区 别 是 什么 ? 
与 静态 的 Memetic 算法 相 比 ,动态 的 Memetic 算法 有 什么 优势 ? 

4. 试 述 Meta-Lamarckian 学 习 型 Memetic 算法 、 超 启发 式 Memetic 算法 和 协同 进化 
Memetic 算法 。 它 们 分 别 属于 哪 一 类 型 的 Memetic 算法 ? 

5. 试 述 Memetic 算法 的 发 展 趋势 和 应 用 前 景 。 

6. 2-opt 是 在 求解 TSP 问题 时 一 个 常用 的 局 部 搜索 策略 。 通 过 查阅 相关 的 参考 文 
献 , 了 解 该 局 部 搜索 策略 ,并 上 机 编写 完整 的 程序 ,实现 以 下 的 两 个 算法 : 

(1) Lamarckian 模式 的 蚁 群 算法 与 2-opt 局 部 搜索 方法 相 结合 的 求解 TSP 的 
Memetic 算法 ; 

(2) Baldwinian 模式 的 蚁 群 算法 与 2-opt 局 部 搜索 方法 相 结 合 的 求解 TSP 的 
Memetic 算法 。 

在 实现 过 程 中 ,Lamarckian 模式 和 Baldwinian 模式 的 区 别 是 什么 ? 观察 上 述 两 个 算 
法 的 上 机 实验 结果 ,在 一 般 情 况 下 ,哪个 算法 的 性 能 更 优 ? 为 什么 ? 


[1] 


[2] 


[3] 


[4] 


L5] 


L6] 


[7] 


[8] 


L9] 


[10] 


[11] 


[12] 


[13] 


[14] 


[15] 


[16] 


[17] 


[18] 


[19] 


SO ”Memetic 算 法 


本 章 参 考 文 献 


D Wolpert; W Macready. No free lunch theorems for optimization. IEEE Transactions On 
Evolutionary Computation, 1997,1(1): 67-82. 
P Moscato. On evolution, search, optimization, GAs and martial arts; toward memetic 
algorithms. California Inst. Technol. Technical Report Caltech Concurrent Comput. Prog. Rep. 
826, 1989. 
R Dawkins. The Selfish Gene. New York: Oxford Univ Press, 1976. 
刘 漫 丹 . 文化 基因 算法 (Memetic Algorithm MAHE. 自动 化 技术 与 应 用 ,2007,26(11) 1-4. 
IS Oh, JS Lee, BR Moon. Hybrid genetic algorithms for feature selection. IEEE Transactions 
On Pattern Analysis and Machine Intelligence, 2004,26(11): 1424-1437. 
Macro Dorigo, L M Gambardella. Ant colony system: A cooperative learning approach to TSP. 
IEEE Trans. on Evolutionary Computation, 1997(1): 53-66. 
J Kennedy, R C Eberhart. Particle swarm optimization. in Proceedings of IEEE International 
Conference on Neural Networks, 1995; 1942-1948. 
B Liu, L Wang, Y H Jin. An effective PSO-based memetic algorithm for flow shop scheduling. 
IEEE Transactions on Systems; Man, and Cybernetics-Part B: Cybernetics, 2007,.37(1): 18-27. 
P Merz, B Freisleben. Fitness landscape analysis and memetic algorithms for the quadratic 
assignment problem. IEEE Trans. on Evolutionary Computation, 2000,4(4) 337-352. 
N Krasnogor, J Smith. A tutorial for competent memetic algorithms: model, taxonomy, and 
design issues. IEEE Trans. on Evolutionary Computation, 2006,10(5): 474-488. 
Q H Nguyen, Y S Ong; N Krasnogor. A study on the design issues of memetic algorithm. 
Proceedings of the 2007 IEEE Congress on Evolutionary Computation (CEC2007) ,2007. 
Y S Ong, M H Lim, N Zhu,et al. Classification of adaptive memetic algorithm: a comparative study. 
IEEE Trans. on Systems, Man, and Cybernetics-Part B: Cybernetics, 2006,36(1): 141-152. 
J E Smith. Coevolving memetic algorithms: a review and progress report. IEEE Transactions on 
Systems; Man, and Cybernetics-Part B: Cybernetics, 2007, 37(1): 6-17. 
G Kendall, P Cowling, E Soubeiga. Choice function and random hyperheuristics. Proc. 4th Asia- 
Pacific Conference on Simulated Evolution and Learning, 2002; 667-671. 
N Krasnogor, B Blackburne, J D Hirst et al. Multimeme algorithms for the structure prediction 
and structure comparison of proteins. Parallel Problem Solving From Nature, Lecture Notes in 
Computer Science, 2002. 
E K Burke, G Kendall, E Soubeiga. A tabu search hyperheuristic for timetabling and rostering, 
2003 ,9(6). 
J E Smith. Co-evolving memetic algorithms: A learning approach to robust scalable optimization. 
Proc IEEE Congr. Evolutionary Computation. New Jersey: IEEE Press, 2003(1): 498-505. 
H Ishibuchi, T Yoshida, T Murata. Balance between genetic search and local search in memetic 
algorithms for multiobjective permutation flowshop scheduling. IEEE Trans. on Evolutionary 
Computation. , 2003(7): 204-223. 


H D Nguyen, I Yoshihara, K Yamamori,; et al. Implementation of an effective hybrid GA for 


191 


192 


计算 智能 


[20] 


[21] 


[22] 


[23] 
[24] 


[25] 


[26] 


[27] 


[28] 


[29] 


L30] 


[31] 


[32] 


[33] 


[34] 


[35] 


[36] 
[37] 


[38] 


[39] 


large-scale traveling salesman problems. IEEE Trans. on Systems, Man, and Cybernetics-Part B: 
Cybernetics, 2007,37(1); 92-99. 

A Quintero, S Pierre. A memetic algorithm for assigning cells to switches in cellular mobile 
networks. IEEE Communications Letters, 2002,6(11): 484-486. 

E K Burke, A J Smith. Hybrid evolutionary techniques for the maintenance scheduling problem. 
IEEE Trans. on Power Systems, 2000,15(1): 122-128. 

W Sheng, G Howells, M Fairhurst, et al. A memetic fingerprint matching algorithm. 
Information Forensics and Security,2007,2(3); 402-412. 

刘 漫 丹 . 文化 基因 算法 在 多 约束 背包 问题 中 的 应 用 . 计算 技术 与 自动 化 ,2007,26(4) : 61-67. 
RAZ. TMS. BR. 基于 Memetic 算法 的 机 场 停机 位 分 配 问 题 研 究 . 交通 运输 工程 与 信息 学 
报 ，2007,5(4) : 10-17. 

李 青 , 钟 铭 , 李 振 福 , 等 . 用 于 集装箱 配 装 问题 的 Memetic 算法 . 辽宁 工程 技术 大 学 学 报 , 2006, 
25(3): 450-452. 

N Noman, H Iba. Accelerating differential evolution using an adaptive local search. IEEE Trans. 
on Evolutionary Computation, 2008,12(1);: 107-125. 

S Tsutsui, M Yamamura, T Higuchi. Multi-parent recombination with simplex crossover in real 
coded genetic algorithms. Proc. Genetic Evol. Comput. Conf. (GECCO’99), 1999: 657-664. 

X Yao, Y Liu. Evolutionary programming made faster. IEEE Trans. on Evolutionary 
Computation, 1999,3(2); 82-102. 

K Chellapilla. Combining mutation operators in evolutionary programming. IEEE Trans. on 
Evolutionary Computation, 1998,2(3): 91-96. 

Y Nagata, S Kobayashi. Edge assembly crossover: A high-power genetic algorithm for the 
traveling salesman problem. in Proc. 7th Int. Conf. Genetic Algorithms, T. Back, Ed. , 1997: 
450-457. 

J Watson, C Ross, V Eisele, et al. The traveling salesman problem, edge assembly crossover, 
and 2-opt. in Lecture Notes in Computer Science, Proc. Parallel Problem Solving From Nature- 
PPSN-V, 1998; 823-832. 

K J Binkley, M Hagiwara. Particle swarm optimization with area of influence; increasing the 
effectiveness of the swarm. in Proceedings of the IEEE Swarm Intelligence Symposium 2005 
(SIS2005) ,2005. 

S Das, et al. Adding local search to particle swarm optimization. in Proceedings of the 2006 IEEE 
Congress on Evolutionary Computation (CEC2006) ,2006. 

M Tang; X Yao. A memetic algorithm for VLSI floorplanning. IEEE Trans. on Systems, Man, 
and Cybernetics-Part B; Cybernetics,2007,37(1); 62-69. 

ZG Tu, Y Lu. A robust stochastic genetic algorithm (StGA) for global numerical optimization. 
IEEE Trans. on Evolutionary Computation, 2004,8(5); 456-470. 

M Dorigo, T Stiitzle. Ant colony optimization, MIT Press, 2004. 

YS Ong: A J Keane. Meta-Lamarckian learning in memetic algorithms. IEEE Trans. on 
Evolutionary Computation, 2004,8(2); 99-110. 

P Cowling, G Kendall, E Soubeiga. A hyperheuristic approach to scheduling a sales summit. 
Springer Lecture Notes in Computer Science, 2000: 176-190. 


N Krasnogor. Self-generating metaheuristics in bioinformatics: The protein structure comparison 


[40] 


[41] 


[42] 


[43] 


[44] 


[45] 


[46] 


L47] 


[48] 


[49] 


第 9 章 ”Memetic 算 法 


case. Genetic Program. Evolvable Mach. , 2004,5(6); 181-201. 

N Krasnogor, S Gustafson. A study on the use of self-generation in memetic algorithms. Nat. 
Comput. , 2004,3(1): 53-76. 

A Caponio, G L Cascella, F Neri, et al. A fast adaptive memetic algorithm for online and offline 
control design of PMSM drivers. IEEE Trans. on Systems, Man, and Cybernetics-Part B: 
Cybernetics, 2007,37(1). 28-41. 

N Shahidi, H Esmaeilzadeh, M Abdollahi, et al. Self-adaptive memetic algorithm: an adaptive 
conjugate gradient approach. Proceedings of the 2004 IEEE Conference on Cybernetics and 
Intelligence Systems, 2004. 

P Zou, Z Zhou, G Chen, et al. A novel memetic algorithm with random multi-local-search; a case 
study of TSP. in Proceedings of the 2004 IEEE Congress on Evolutionary Computation 
(CEC2004) , 2004. 

SM Tse, Y Liang, K S. Leung, et al. A memetic algorithm for multiple-drug cancer 
chemotherapy schedule optimization. IEEE Trans. on Systems, Man, and Cybernetics-Part B: 
Cybernetics, 2007,37(1)84-91. 

Q Zhang; J Sun, E Tsang. Evolutionary algorithms refining a heuristic: a hybrid method for 
shared-path protections in WDM networks under SRLG constraints. IEEE Trans. on Systems, 
Man, and Cybernetics-Part B; Cybernetics, 2007, 37(1)51-61. 

D Liu, K C Tan, C K Goh, et al. A multiobjective memetic algorithm based on particle swarm 
optimization. IEEE Trans. on Systems, Man, and Cybernetics-Part B; Cybernetics, 2007, 
37(1): 42-50. 

H Ishibuchi, Y Hitotsuyanagi, Y Nojima. An empirical study on the specification of the local 
search application probability in multiobjective memetic algorithms. Proceedings of the 2007 IEEE 
Congress on Evolutionary Computation (CEC2007) ,2007. 

M Milano, A Roli. MAGMA: A multiagent architecture for metaheuristics. IEEE Trans. on 
Systems, Man, and Cybernetics-Part B: Cybernetics, 2004, 33(2): 925-941. 

ASSMB Ullah, R Sarker, D. Comforth, et al. An agent-based memetic algorithm (AMA) for 
solving constrained optimization problems. Proceedings of the 2007 IEEE Congress on 
Evolutionary Computation (CEC2007) ,2007. 


193 


普通 高 校本 科 计 算 机 专业 


模拟 退火 与 蔡 忌 搜索 


在 物理 学 实验 中 ,对 固 
体 进行 加 热 ,让 其 在 高 温 
状态 下 熔 解 。 


在 高 温 状 态 下 ， 固 体内 部 的 粒子 以 相同 
的 概率 处 于 任何 一 种 状态 。 缓 慢 退 火 ， 让 物 
体 徐徐 冷却 ， 最 终 稳定 在 一 个 最 优 的 状态 。 
固体 在 高 温 状 态 下 通过 退火 冷却 到 低温 状态 ,最 
终 稳定 在 一 个 最 佳 状态 ,这 本身 是 一 个 优化 的 过 程 。 
我 们 能 否 借 鉴 固体 物理 退火 的 过 程 ,设计 一 种 最 优 
化 算法 呢 ? 


模拟 退火 (Simulated Annealing,SA) 算 法 就 是 从 物理 退火 


过 程 得 到 启发 ， 从 而 设计 出 来 的 最 优化 方法 。 


模仿 人 类 的 记忆 能 力 ， 
计算 机 科学 家 设计 了 禁忌 
搜索 (Tabu Search,TS) 算 法 。 


f 


人 在 日 前 活动 中 , 总 是 会 对 曾经 做 过 的 事 

衣 有 所 记忆 。 这 种 记忆 特性 能 避免 重复 做 一 些 

首 误 的 事情 。 例 如 在 一 个 三 岔路 口 ， 左 边 的 路 

已 经 走 过 并 且 确 定 不 能 到 达 目 的 地 ， 那 么 在 这 
次 选择 中 就 会 避免 重复 走 这 条 错误 的 路 线 。 
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计算 智能 

在 前 面 的 章节 中 ,通过 对 神经 网 络 .模糊 逻辑 和 进化 计算 这 三 个 计算 智能 中 的 主要 研 
究 领 域 进 行 学 习 , 相 信 读 者 已 经 对 计算 智能 方法 有 了 比较 深入 的 认识 和 理解 。 在 本 章 中 ， 
我 们 将 介绍 另外 两 种 算法 ,分别 是 模拟 退火 算法 和 禁忌 搜索 算法 。 这 两 种 算法 也 是 属于 
计算 智能 的 分 文 , 但 是 它们 和 进化 计算 中 的 算法 有 个 明显 的 不 同 之 处 在 于 ,进化 计算 是 基 
于 群体 搜索 的 ,但 是 模拟 退火 算法 和 禁忌 搜索 算法 都 是 属于 单 点 搜索 算法 ,鉴于 此 ,我们 
将 在 本 草 对 这 两 种 算法 进行 介绍 。 

和 前 面 介 绍 的 算法 类 似 , 我 们 将 从 算法 的 思想 、 基 本 流程 对 算法 进行 一 个 简要 的 介 
绍 ,然后 通过 一 个 例子 对 算法 的 使 用 进行 说 明 。 本 和 草 的 主要 内 容 包括 : 

。 模拟 退火 算法 
避 算 法 思想 
了 基本 流程 
和 应 用 举例 
ws FE AS 
ws FEAR iit Fe 
zs Mi FAS Bil 


10.1 模拟 退火 算法 
10.1.1 算法 思想 


模拟 退火 (Simulated Annealing, SA) 算 法 的 基本 思想 , 早 在 1953 年 就 已 经 由 
Metropolis 提出 所 。 不 过 直到 1983 年 ,Kirkpatrick 等 人 才 真 正成 功 地 将 模拟 退火 算法 
应 用 到 求解 组 合 优化 问题 上 呈 ,模拟 退火 算法 才 逐 渐 为 人 们 所 接受 ,并且 成 为 一 种 有 效 的 
优化 算法 ,在 很 多 工程 和 科学 领域 得 到 广泛 的 应 用 "*"]。 

模拟 退火 算法 的 思想 来 源 于 物理 退火 原理 ,如 图 10. 1 所 示 。 在 热力 学 和 统计 物理 学 
的 研究 中 ,物理 退火 过 程 是 首先 将 固体 加 温 至 温度 充分 高 ,再 让 其 徐徐 冷却 。 加 温 时 , 固 
体内 部 粒子 随 大 温度 的 升 高 而 变 为 无 序 状态 ,内 能 增 大 ,而 徐徐 冷却 时 粒子 渐 趋 上 有 序 , 如 
果 降 温 速 度 足 够 慢 , 那 么 在 每 个 温度 下 ,粒子 都 可 以 达到 一 个 平衡 态 , 最 后 在 常温 时 达到 


开始 状态 


图 10.1 固体 从 高 温 状 态 退 火 冷却 到 低温 状态 过 程 示意 图 
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基态 ,内 能 减 为 最 小 。 男 一 方面 ,粒子 在 某 个 温度 工时 ,固体 所 处 的 状态 具有 一 定 的 随机 
性 ,而 这 些 状态 之 间 的 转换 能 否 实现 由 Metropolis 准则 决定 。 

Metropolis 准则 定义 了 物体 在 某 一 温度 荆 下 从 状态 i 转移 到 状态 7 的 概率 Pi ,如 公 
式 (10. 1) 所 示 。 

l, EG) < EG) 
an | cage =e (RT), 其 他 

其 中 @ 为 自然 对 数 ,E(i) 和 EO) 分 别 表示 固体 在 状态 i 和 ;下 的 内 能 ,AE==E(j) 一 
E(i) ,表示 内 能 的 增 量 ,K EVR AR ZK & (Boltzmann) % RL. 

从 Metropolis 准则 可 以 看 到 ,在 某 个 温度 荆 下 ,系统 处 于 某 种 状态 ,由 于 粒子 的 运动 , 系 
统 的 状态 会 发 生变 化 ,并 且 叶 致 系统 能 量 的 变化 。 如 采 变 化 是 贿 辱 减少 系统 能 量 的 方 回 进 
行 的 ,那么 就 接受 该 变化 ,否则 以 一 定 的 概率 接受 这 种 变化 。 男 一 方面 ,从 已 的 公式 可 以 看 
到 ,在 同一 温度 下 ,导致 能 量 增加 的 增加 量 AE==E(j) 一 E(i) 越 大 ,接受 的 概率 越 小 ;而 且 随 
着 温度 工 的 降低 ,接受 系统 能 量 增 大 的 变化 的 概率 将 会 越 小 ,图 10. 2 表示 的 是 当 KK 取 1,T 
分 别 取 3 和 2 AWE ee. PCT) Be AE 的 变化 而 变化 的 曲线 。 由 图 10.2 可 见 , 随 着 温度 的 降低 ， 
能 量 增加 的 状态 将 变 得 更 难 被 接受 。 当 温度 趋 于 0 时 ,系统 接受 其 他 使 得 能 量 增加 的 状态 
的 概率 趋 于 0, 所 以 系统 最 终 将 以 概率 1 处 于 一 个 具有 最 小 能 量 的 状态 。 


1.0 


(10. 1) 


图 10.2 温度 分 别 为 3 和 2 时 Metropolis 接受 概率 与 能 量 增 量 的 关系 示意 图 


模拟 退火 算法 在 优化 问题 的 时 候 ,采用 的 就 是 类 似 于 物理 退火 让 固体 内 部 粒子 收敛 
到 一 个 能 量 最 低 状 态 的 过 程 ,实现 算法 最 终 收敛 到 最 优 解 的 目的 。 表 10. 1 给 出 了 模拟 退 
火 算 法 和 物理 退火 过 程 相关 概念 的 类 比 关 系 。 

算法 首先 会 生成 问题 解 空 间 上 的 一 个 随机 解 ,然后 对 其 进行 扰动 ,模拟 固体 内 部 粒子 
在 一 定 温度 下 的 状态 转移 。 算 法 对 扰动 后 得 到 的 解 进 行 评估 ,将 其 与 当前 解 进 行 比 较 并 
且 根 据 Metropolis 准则 进行 蔡 换 。 算 法 会 在 同一 温度 下 进行 多 次 扰动 ,以 模拟 固体 内 部 
的 多 种 能 量 状 态 。 另 外 ,模拟 退火 算法 还 通过 上 自身 参数 的 变化 来 模仿 温度 下 降 的 过 程 。 
算法 参数 工 代 表 温 度 ,每 一 代 逐 渐变 小 。 在 每 一 代 中 ,算法 根据 当前 温度 下 的 Metropolis 
转移 准则 对 解 进行 扰动 。 这 样 的 操作 在 不 同 的 温度 下 不 断 地 重复 ,直到 温度 降低 到 某 个 指 
定 的 值 。 这 时 候 得 到 的 解 将 作为 最 终 解 , 相 当 于 固体 的 能 量 最 低 状态 。 
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表 10.1 物理 退火 过 程 和 模拟 退火 算法 的 基本 概念 对 照 表 


物理 退火 过 程 


物体 内 部 的 状态 
状态 的 能 量 
温度 

Kes FR aL FB 

退火 冷却 过 程 
状态 的 转移 
能 量 最 低 状 态 


10.1.2 基本 流程 
模拟 退火 算法 在 求解 最 优化 问题 的 时 候 , 算 法 的 基本 流程 图 和 伪 代 码 如 图 10. 3 所 示 。 


初始 化 : 随机 选择 一 个 解 i, 计算 适应 值 f(?)。 


设置 代数 三 0, 初 始 温 度 toT, S RRE s =i 


满足 终止 条 件 ? 
否 


是 


在 温度 下 达到 平衡 ? 


从 的 邻 域 中 随机 选择 一 个 解 .j, 
计算 j 的 适应 值 /(/) 


计算 接受 概率 P(g) 10" 


random(0,1)<P(t,) 
i 
i= j; f OSSU); E s 


降温 冷却 : t..,=drop(t,); S k=k+1 


模拟 退火 算法 
问题 的 解 空 间 ( 所 有 可 行 解 ) 
解 的 质量 (适应 度 函 数值 ) 
控制 参数 
设 定 初 始 温度 
控制 参数 的 修改 (温度 参数 的 下 降 ) 
解 在 邻 域 中 的 变化 
最 优 解 


// 功 能 : 模拟 退火 算法 伪 代 码 
// 说 明 : 本 例 以 求 问 题 最 小 值 为 目标 
// 参 数 ; 7 为 初始 温度 ; 工 为 内 层 循环 次 数 


procedure SA 
//Initialization 
Randomly generate a solution %, and 


calculate its fitness value f(X%); 
Moest= Xz K-O; t=T; 
while not stop 
//The search loop under the temperature tr 
for i=1 to L // The loop times 
Generate a new solution Xe, based on 
the current solution XX, and calculate 
its fitness value f(X). 
if f (Xs) < £ (Xz) 
Xic= Xnew 7 
iff (X; )< £ (Mest ) Koest= Xr; 
continues; 
end if 
CalculateP(t,)=e ft u/i] ; 
if random(0,1)< P 
X= Xnew? 
end if 
end for 
//Drop down the temperature 
te= drop (tr); k= kt 1; 
end while 
print Xest 
end procedure 


10.3 模拟 退火 算法 的 流程 图 和 伪 代 码 
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图 10. 3 给 出 的 是 模拟 退火 算法 的 基本 框架 ,针对 具体 问题 时 还 需要 具体 的 设计 。 从 
流程 图 中 可 以 看 到 模拟 退火 具有 两 层 循环 ,内 循环 模拟 的 是 在 给 定 的 温度 下 系统 达到 热 
平衡 的 过 程 。 在 该 循环 中 ,每 次 都 从 当前 解 i 的 邻 域 中 随机 找 出 一 个 新 解 7 ,然后 按照 
Metropolis 准则 概率 地 接受 新 解 。 算 法 中 的 random(0,1) 是 指 在 区 间 [L0,1] 上 按 均 匀 分 
布 产 生 一 个 随机 数 , 而 有 所谓 的 内 层 达 到 热平衡 也 是 一 个 笼统 的 说 法 ,可 以 定义 为 循环 一 定 
的 代数 ,或 者 基于 接受 率 定义 平衡 等 。 算 法 的 外 层 循环 是 一 个 降温 的 过 程 , 当 在 一 个 温度 
下 达到 平衡 后 ,开始 外 层 的 降温 ,然后 在 新 的 温度 下 重新 开始 内 循环 。 降温 的 方法 可 以 根 
据 具 体 问 题 具体 设计 ,而 且 算 法 流程 图 中 给 出 的 初始 温度 T 也 需要 算法 的 使 用 者 根据 具 
体 的 问题 而 制定 。 

从 图 10. 3 给 出 的 流程 图 和 伪 代 码 可 以 看 到 ,模拟 退火 算法 在 求解 最 优化 问题 的 时 
候 ,涉及 以 下 几 个 方面 的 基本 要 素 。 

1. 初始 温度 

初始 温度 to 的 设置 是 影响 模拟 退火 算法 全 局 搜索 性 能 的 重要 因素 之 一 所 。 实 验 表 
明 , 初 温 越 大 ,获得 高 质量 解 的 几率 越 大 ,但 花费 的 计算 时 间 将 越 多 。 因 此 , 初 温 的 确定 应 
折 囊 考虑 优化 质量 和 优化 效率 ,第 用 方法 包括 以 下 几 种 。 

。 均匀 抽样 一 组 状态 ,以 各 状态 目标 值 的 方差 为 初 温 ; 

。 随机 产生 一 组 状态 ,确定 两 两 状态 间 的 最 大 目标 值 差 | Amax| ,然后 依据 差 值 , 利 

用 一 定 的 函数 确定 初 温 。 例 如 ,mm 三 一 Amax/p ,其 中 p, 为 初始 接受 概率 ; 

。 利用 经 验 公 式 给 出 初始 温度 。 

2. Sih es 

RBR KR CIR AS AE RRO DVS FY BE Pa WESA AE AIR ae SPE ahd Hh PD AP B, a A FA PB 
组 成 , 即 产生 候选 解 的 方式 和 候选 解 产 生 的 概率 分 布 。 候 选 解 一 般 采 用 按照 某 一 概率 密度 
函数 对 解 空间 进行 随机 采样 来 获得 。 概 率 分 布 可 以 是 均匀 分 布 、 正 态 分 布 .指数 分 布 等 。 

3. 接受 概率 

指 从 一 个 状态 X; (一 个 可 行 解 ) 回 另 一 个 状态 Xhow( 男 一 个 可 行 解 ) 的 转移 概率 ,通俗 
的 理解 是 接受 一 个 新 解 为 当前 解 的 概率 。 它 与 当前 的 温度 参数 n 有 关 , 随 温度 下 降 而 减 
小 。 一 般 采 用 Metropolis 准则 ,如 前 面 的 公式 (10.1) 所 示 。 

4. 冷却 控制 

指 从 某 一 较 高 温 状态 to 回 较 低温 状态 冷却 时 的 降温 管理 表 ,或 者 说 降温 方式 。 假 设 
时 刻 & 的 温度 用 来 表示 , 则 经 典 模拟 退火 算法 的 降温 方式 为 3]， 


lo 


n= Ig OFE (10. 2) 
而 快速 模拟 退火 算法 的 降温 方式 为 : 
_ bo 
Lk = i+k (10. 3) 
这 两 种 方式 都 能 够 使 得 模拟 退火 算法 收 钱 于 全 局 最 小 点 。 


5 内 层 平 衡 
内 层 平 衡 也 称 Metropolis 抽样 稳定 准则 ,用 于 决定 在 各 温度 下 产生 候选 解 的 数目 。 
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利用 的 抽样 稳定 准则 包括 以 下 几 项 。 


。 检验 目标 函数 的 均值 是 否 稳 定 ; 

。 连续 奉 干 步 的 目标 值 变 化 较 小 ; 

。 预先 设 定 的 抽样 数目 ,内 循环 代数 。 

6. 终止 条 件 

算法 终止 准则 ,和 常用 的 包括 以 下 几 项 。 

。 设置 终止 温度 的 国 值 ; 

。 设置 外 循环 迭代 次 数 ; 

。 算法 搜索 到 的 最 优 值 连续 大 干 步 保 持 不 变 ; 

。 检验 系统 烽 是 否 稳 定 。 

这 些 基 本 要 素 的 意义 和 设 定 方法 如 图 10. 4 所 示 。 


基本 要 素 
影响 模拟 退火 算法 全 局 搜索 性 能 (1) 均匀 抽样 一 组 状态 ， 以 各 状态 目标 值 的 
的 重要 因素 之 一 。 方差 定 初 温 
实验 表明 ， 初 温 越 大 ， 获 得 高 质 KO 初始 温度 [> (2) 随机 产生 一 组 状态 ， 以 两 两 状态 间 最 大 


量 解 的 几率 越 大 ， 但 伦 费 的 计算 差 值 定 初 温 
时 间 将 增加 (3) 利用 经 验 公式 给 出 初 温 


状态 空间 与 状态 产生 函数 。 候选 解 一 和 股 来 用 按照 蘑 一 概率 密度 函数 对 解 
邻 域 函数 (状态 产生 函数 ) 应 尽 全 空间 进行 随机 采样 来 获得 。 


可 能 保证 产生 的 候选 解 遍布 全 概率 分 布 可 以 是 均匀 分 布 、 正 态 分 布 、 指 数 
部 解 空间 分 布 等 


指 从 一 个 状态 XX( 一 个 可 行 解 ) 一 般 采 用 Metropolis ill) 
向 另 一 个 状态 Xew( 另 一 个 可 行 E()S EC) 


9 


l, 
解 ) 的 转移 概率 , 通俗 的 理解 是 pr-d cee _ 其 他 


接受 一 个 新 解 为 当前 解 的 概率 
指 从 某 一 较 高 温 状态 向 较 低 (1) 经 典 模拟 退火 算法 的 降温 方式 Tp 


温 状态 冷却 时 的 降温 管理 表 , 或 | í 
者 说 降温 方式 (2) 快速 模拟 退火 算法 的 降温 方式 15 


内 层 平衡 也 称 Metropolis 抽 样 稳 
定 准则 ,用 于 决定 在 各 温度 下 产 
生 候 选 解 的 数目 


(1) 设置 终止 温度 的 阔 什 
终止 条 Le (2) EMAER 
lll (3) 算法 搜索 到 的 最 优 值 连续 若干 步 保持 不 变 
(4) Ras Fe Fei SE 


图 10.4 模拟 退火 算法 的 基本 要 素 


10.1.3 应 用 举例 
下 面 通 过 一 个 简单 的 0-1 背包 问题 ,说 明 模拟 退火 算法 在 求解 离散 组 合 优化 问题 时 
的 流程 和 算法 步骤 。 


例 10. 1 


已 知 背 包 的 装载 量 为 c 王 8 ,现在 有 n=5 个 物品 ,它们 的 重量 和 价值 分 别 是 


(2,3,5,1,4) 和 (2,5,8,3,6)。 试 使 用 模拟 退火 算法 求解 该 背包 问题 , 写 出 关键 的 步骤 。 
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分 析 : 背包 问题 本 身 是 一 个 组 合 优化 问题 ,也 是 一 个 典型 的 NP 难 问 题 。 如 果 使 用 
枚 举 的 方法 ,我 们 需要 找到 个 物品 的 所 有 子 集 , 然 后 在 那些 满足 约束 条 件 的 子 集中 比较 
物品 的 总 价值 ,找到 总 价值 最 大 的 子 集 , 也 就 是 问题 的 最 优 解 。 但 是 我 们 知道 ,大 小 为 n 
的 集合 的 子 集 数 目 为 2* ,所 以 当 背 包 问 题 的 规模 变 大 (2 变 大 ) 的 时 候 , 要 找 出 所 有 的 子 集 
是 一 个 不 现实 的 做 法 ,因为 计算 复杂 度 的 指数 级 增长 已 经 使 得 问题 在 规模 稍 大 的 时 候 就 
无 法 在 可 以 接受 的 时 间 内 得 到 解决 。 因 此 背包 问题 需要 采用 一 些 计 算 复杂 度 较 低 的 ,但 
是 能 够 提供 令 人 满意 的 解 的 算法 ,而 模拟 退火 算法 是 解决 背包 问题 的 重要 手段 。 大 量 的 
实验 证 明 ,模拟 退火 算法 能 够 处 理 规模 较 大 的 背包 问题 ,而 且 能 够 鲁 棒 地 得 到 满意 的 解 。 

解 : 这 里 假设 问题 的 一 个 可 行 解 用 0 和 1 的 序列 表示 ,例如 i 二 (1010) 表 示 选 择 第 1 
和 第 3 个 物品 ,而 不 选择 第 2 和 第 4 个 物品 。 用 模拟 退火 算法 求解 例 10. 1 的 关键 过 程 如 
图 10.5 所 示 。 


第 二 步 : 在 T 温 度 下 局 部 搜索 ， 直 到 “平衡 *， 假 设 平衡 
条 件 为 执行 了 3 次 内 层 循环 


重量 w=(2, 3, 5, 1,4) 
价值 v=(2, 5, 8, 3, 6) 


一 步 : 初始 化 。 假 设 初 始 解 为 
j=(11001), 初始 温度 为 T=10. i 
算 f(i)=2+5+6=13， 最 优 解 s=i 4 


第 三 步 : 降温 ， 假 设 温度 降 为 
T=9 。 如 果 没 有 达到 结束 标准 ， 
则 返回 第 二 步 继 续 执 行 


(1) 产生 当前 解 的 一 个 邻 域 解 j (如 何 构 抬 邻 域 根据 具体 
的 问题 而 定 , 这 里 假设 为 随机 改变 某 一 位 的 0/1 值 或 者 交 
换 某 两 位 的 0/1 值 )， 假 设 广 (11100) 

要 注意 产生 的 新 解 的 合法 性 ， 要 舍弃 那些 点 重量 超过 背 
包装 载 量 的 非法 解 


(C2)7C)=2+5+8=15>13= 帮 DOD， 所 以 接受 新 解 v 
i=j; f(D ()=15; m H. s=i 
要 注意 求解 的 是 最 大 值 . 因此 适应 值 越 大 越 优 


Ss (3) 返回 (D 继续 执行 

假设 第 二 轮 得 到 的 新 解 产 (11010), 由 于 .7)=2+S+3=10 
<1S=f (i), Pit A a Ba Ae ES P(T)=exp((f(J)-f()/T )= 
exp(—0.5)=0.607, {Ui random(0,1)>P(7), 则 不 接受 新 解 


O 假设 第 三 轮 得 到 的 新 解 7=(10110), 由 于 f( 站 =2+8+3=13 
<15=f(?), 所 以 需要 计算 接受 概率 P(7T)=exp((f (/)-f()/T)= 
exp( 一 0.3)=0.741, 假 设 random(0,1)<P(T ), 则 接受 新 解 按 照 
一 定 的 概率 接受 劣 解 ， 也 是 跳出 局 部 最 优 的 一 种 手段 


(4) 这 时 候 ,7 温度 下 的 “平衡 * 已 达到 ( 即 已 经 完成 了 3 次 
的 邻 域 产生 )， 结 束 内 层 循环 


假设 在 继续 运行 的 时 候 ， 从 当前 解 
三 (10110) 得 到 一 个 新 解 j = (00111), 
这 时 候 的 函数 值 为 (站 =8+3+6=17， 
是 一 个 全 局 最 优 解 。 可 见 上 面 过 
程 中 接受 了 劣 解 是 有 好 处 的 


图 10.5 用 模拟 退火 算法 求解 例 10. 1 的 步骤 图 示 


10.2 禁忌 搜索 算法 


1021 算法 思想 


禁忌 搜索 (Tabu Search,TS) 是 Glover 于 1986 年 提出 的 一 种 全 局 搜索 算法 0 。 禁 忌 
搜索 也 是 属于 模拟 人 类 智能 的 一 种 优化 算法 , 它 模仿 了 人 类 的 记忆 功能 ,在 求解 问题 的 过 程 
中 ,采用 了 禁忌 技术 ,对 已 经 搜索 过 的 局 部 最 优 解 进行 标记 ,并 且 在 迭代 中 尽量 避免 重复 相 
同 的 搜索 (但 不 是 完全 隔绝 ) ,从 而 获得 更 广 的 搜索 区 间 , 有 利于 寻找 到 全 局 最 优 解 。 
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通过 图 10. 6 所 示 的 兔子 寻找 最 高 山峰 的 例子 ,我 们 可 以 体会 禁忌 搜索 的 主要 特点 以 
及 T 了 解禁 忌 搜 索 算 法 是 怎样 对 人 类 大 脑 记忆 的 功能 进行 模仿 的 。 禁 忌 搜索 算法 的 一 个 重 
要 特点 就 是 算法 具有 “记忆 性 ”, 能 够 对 已 经 搜索 到 的 解 进行 记忆 和 选择 性 的 回避 ,因此 ， 
算法 需要 维护 一 个 禁忌 表 变 量 , 该 变量 不 断 地 更 新 ,通过 加 入 新 的 禁忌 对 象 和 解 蔡 旧 的 蔡 
忌 对 象 ,使 得 算法 能 够 避免 重复 在 一 个 局 部 最 优 解 附近 进行 过 多 无 谓 的 操作 ,从 而 达到 扩 


这 里 是 一 个 局 部 最 优 ,我 
在 这 里 设置 一 个 标记 


(1) 锡 子 在 寻找 最 高 的 山峰 。 它 经 过 一 番 努 力 之 
后 ， 找 到 了 4 这 个 相对 高 的 峰 头 , 它 会 在 这 里 设 
置 一 个 标记 ， 说 明 该 峰 头 已 经 被 “禁忌 ”了 。 
这 样 通过 “ 茶 忆 ”的 手段 , 避免 重复 搜索 同样 的 
峰 头 ， 浪 费时 间 。 峰 头 4 就 是 “ 禁 忆 对象”。 


(2) 兔子 继续 搜索 ， 由 于 避 开 了 4 ， 所 以 兔子 有 可 能 跑 到 更 远 的 地 方 、 来 
到 了 B。 同 样 8 也 将 会 被 禁忌 。 另 一 方面 ， 禁 忆 对 象 4 将 随 着 时 间 的 推移 
而 被 解 茜 。 这 个 从 被 禁忌 到 解 蔡 的 时 间 就 是 “ 茶 忆 期 限 ”( 禁 忆 长 度 ) 。 


哈哈 ! 我 终于 找到 
最 高 峰 了 ! ! ! 


(3) 兔子 在 找到 不 同 的 峰 头 之 后 ,有 意识 地 避 开 它们 (但 不 是 完全 隔绝 ), 从 而 获得 更 大 的 搜索 区 间 。 经 过 不 
断 地 “禁忌 ”和 “解禁 *"， 它 找到 的 山峰 将 越 来 越 高 ， 例 如 图 中 的 兔子 已 经 找到 了 最 高 的 那个 峰 头 C 。 


10.6 禁忌 搜索 算法 的 搜索 行为 示意 图 
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大 搜索 空间 ,找到 全 局 最 优 解 的 目的 。 
茶 忌 搜索 属于 一 种 计算 午 能 的 算法 ,在 算法 实现 的 细节 上 涉及 荣 忌 表 、 茜 忌 对 象 、. 茶 


SBA BR .渴望 准则 等 概念 ,下 面 先 对 这 些 概 念 进 行 说 明 。 

定义 10.1 BSR (Tabu List, TL) 是 用 来 存放 (记忆 ) 蔡 忌 对 象 的 表 。 它 是 茶 忌 搜 
AS WET IN SEA HITE. FR RA EAH E BR h OY 它 的 大 小 对 存放 禁忌 对 象 的 个 数 
有 影响 ,会 影响 算法 的 性 能 。 

定义 10.2 禁忌 对 象 (Tabu Object,TO) 是 指 禁忌 表 中 被 禁 的 那些 变化 元 素 。 禁 忌 
对 象 的 选择 可 以 根据 具体 问题 而 制定 。 例 如 在 旅行 商 问 题 (Traveling Salesman 
Problem,TSP) 中 可 以 将 交换 的 城市 对 作为 禁忌 对 象 , 也 可 以 将 总 路 径 长 度 作 为 蔡 
XT ZR 

age 10.3 禁忌 期 限 (Tabu Tenure ,ITT) 也 叫 禁 鼠 长 度 , 指 的 是 禁忌 对 象 不 能 被 选取 
的 周期 。 禁 忌 期 限 过 短 容 易 出 现 循环 , 跳 不 出 局 部 最 优 ,长 度 过 长 会 造成 计算 时 间 过 长 。 

nares 10.4 渴望 准则 (Aspiration Criteria,AC) 也 称 为 特赦 规则 。 当 所 有 的 对 象 都 
被 禁忌 之 后 ,可 以 让 其 中 性 能 最 好 的 被 禁忌 对 象 解禁 ,或 者 当 某 个 对 象 解禁 会 带 来 目标 值 
的 很 大 改进 时 ,也 可 以 使 用 特 DEAU 

AR SR RRA A ARK, ATS RE., SOHAIL. REFERE BRET 
了 大 量 的 研究 ,不断 地 完善 算法 的 性 能 与 折 展 算法 的 应 用 领域 "5 。 研 究 者 不 但 对 禁忌 搜 
索 算法 的 行为 方式 进行 了 理论 证 明 , 如 Faigle 和 Kern5 提 出 的 针对 概率 TS 的 收 伍 性 证 
明 ,Hanafi 和 Glover!" TE PH Ay JL AP WAE EME HI TS 保证 了 在 有 限 的 时 间 内 找到 最 优 
解 , 等 等 ;而 且 提 出 了 各 种 改进 方案 ,如 通过 对 算法 参数 的 研究 ,希望 得 到 更 加 鲁 棒 的 参数 
设置 ……" ,或 混合 其 他 现代 计算 方法 "2 ,如 遗传 算法 、 尽 群 算法 等 技术 对 传统 的 禁忌 搜索 
算法 进行 性 能 的 改进 与 提高 。 另 一 方面 ,禁忌 搜索 算法 已 经 在 组 合 优化 、 生产 调度 ， BL air 
学 习 、 电 路 设计 和 神经 网 络 等 领域 取得 了 很 大 的 成 功 ,近年 来 又 在 函数 全 局 优化 方面 得 到 
较 多 的 研究 ,并 大 有 发 展 的 趋势 。 


10.2.2 基本 流程 


禁忌 搜索 算法 在 初始 化 的 时 候 , 在 搜索 空间 随机 生成 一 个 初始 解 i, 禁 尽 表 五 置 空 
当前 解 i 记 为 历史 最 优 解 ; ,然后 进入 迄 代 的 搜索 过 程 。 在 每 一 次 迭代 中 ,都 从 当前 的 解 i 
出 发 ,在 当前 禁忌 表 H 的 限制 下 ,构造 出 解 i 的 邻 域 A ,然后 从 A 中 选 出 适应 值 最 好 的 解 
j 来 符 换 解 1, 同 时 更 新 禁忌 表 H., Ei j Ei 之 后 ,如 果 解 i 的 质量 得 到 改善 ,那么 
历史 最 优 的 解 s 将 被 解 i 蔡 换 ; 和 否则 ,* 保持 不 变 , 即 使 解 i 虽然 暂时 变 差 了 ,但 是 由 于 扩 
大 了 搜索 空间 , 仍 有 利于 跳出 局 部 最 优 。 得 到 了 新 的 当前 解 i 之 后 ,算法 返回 迭代 的 开始 
继续 进行 ,直到 找到 最 优 解 或 者 运行 了 一 定 的 迭代 次 数 等 终止 条 件 的 时 候 结 束 算法 。 算 
法 的 流程 图 和 伪 代 码 如 图 10.7 所 示 。 

图 10.7 中 有 两 个 地 方 需 要 加 以 说 明 ,一 个 是 如 何 根据 当前 的 禁忌 表 生 成 当前 解 的 邻 
域 , 另 一 个 是 如 何 更 新 禁忌 表 。 下 面 以 旅行 商 问题 为 例 , 解 说 这 两 个 操作 。 

事实 上 ,根据 不 同 问 题 的 特性 ,可 以 设计 不 同 的 邻 域 生 成 方法 。 在 TSP 中 ,一 个 解 可 
以 用 一 个 城市 的 序列 表示 。 例 如 S= (a,b,c,d) 表 示 四 城市 问题 的 一 个 解 ,可 以 定义 交换 
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// 功 能 : 禁忌 搜索 算法 伪 代 码 

// 说 明 : 本 例 以 求 问题 最 小 值 为 目标 

// 参 数 : 工 为 当前 解 :s 为 最 优 解 ;8 为 禁忌 表 ;k 
// 为 当前 代数 


初始 化 : 随机 生成 一 个 解 i， 设 置 代 数 


k=0， 茶 忆 表 帮 为 空 ， 最 优 解 s =i 


procedure TS 


7 //Initialization 
Randomly generate a solution i, and 
m evaluate its fitness f(i); 
构造 解 i 的 邻 域 A=N(i, H) s=i;k-0;F {}; 


while not stop 
//Generate the neighbors of solution i 


从 邻 域 4 中 找 出 适应 值 最 好 
的 解 j, 令 i=j, FHA BH //based on the tabu list H 


4=N(i,H); 
i= SelectBestSolution (A); 
Update the tabu list H; 
iff(i)< f(s) 
S= i; 
end if 
k= kt 1; 
end while 


print s 
end procedure 


图 10.7 禁忌 搜索 算法 的 流程 图 和 伪 代 码 


两 个 城市 构造 S 的 一 个 邻居 ,因此 可 以 得 到 S eb A A= NCS) =({(b.asc;d), (csb, 
asd), (d,bycya),， (ascsb,d), (asd,c,6),，(as,b,d,c)}, 共 有 C(4,2)=6 个 邻居 。 不 过 ， 
在 禁忌 搜索 中 ,该 例子 构造 出 来 的 邻 域 A 可 能 没有 6 个 新 解 ,因为 需要 通过 当前 禁忌 表 
H 的 限制 进行 邻 域 的 构造 。 假 设 当 前 禁忌 表 中 已 经 记录 了 城市 a 和 c,b 和 cc 已 经 在 前 面 
的 搜索 中 进行 过 了 交换 ,那么 S 的 邻 域 变 为 A 二 N(S, H)= {(b,a,c,d), (d,b,c,a)， 
(asdsyc,b0)，(a,b,d,c)}。 因 此 在 这 种 情况 下 ,生成 的 邻 域 只 有 4 个 元 素 。 

关于 禁忌 表 的 更 新 操作 ,一 方面 是 为 了 刷新 已 经 被 禁忌 的 对 象 的 周期 ,让 其 在 一 定 的 
禁忌 周期 后 重新 可 选 ,以 避免 当 所 有 对 象 都 被 禁忌 之 后 ,需要 频繁 使 用 特赦 规则 ; 另 一 方 
面 是 为 了 添加 新 的 禁忌 对 象 到 禁忌 表 中 。 我 们 还 是 以 上 面 的 TSP 为 例 , 如 果 禁 忌 表 中 已 
经 存在 已 经 交换 过 的 城市 对 a 和 c ,6b 和 c ,而 得 到 的 邻 域 A 中 以 交换 城市 a 和 4 得 到 的 
新 解 (d ,b,c,a) 的 适应 值 为 最 优 ,那么 ,城市 对 a Ald 需要 加 入 到 禁忌 表 电 中 ,避免 下 次 
重复 交换 这 两 个 城市 ,而 原来 被 禁忌 的 (a,c) 和 (5,c) 的 被 禁忌 剩余 期 限 将 会 缩短 一 些 ( 例 
如 减 1) 。 通 过 禁忌 表 H 的 更 新 ,新 的 对 象 被 禁忌 , 旧 的 对 象 逐 渐 被 解禁 ,有 利于 算法 在 
更 大 范围 内 寻 优 。 


10.2.3 应 用 举例 
为 了 说 明 茶 忌 搜 索 算 法 的 运行 机 理 , 我 们 通过 一 个 简单 的 旅行 商 问 题 的 例子 来 加 浴 
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对 算法 的 认识 和 理解 。 

例 10.2 已 知 一 个 旅行 商 问 题 为 四 城市 (a,5,c,d) 问 题 ,城市 间 的 距离 如 矩阵 D 所 
示 , 为 方便 起 见 ,假设 邻 域 映 射 定义 为 两 个 城市 位 置 对 换 , 而 始点 和 终点 城市 都 是 a。 请 
分 析 使 用 茶 忌 搜索 算法 求解 该 问题 的 前 面 三 代 的 过 程 与 主要 步骤 。 


0 1 0.5 1 
ae 1 0 1 1 
j 1.5 5 0 1 

1 1 1 0 


分 析 : 这 是 一 个 简单 的 问题 ,利用 枚 举 的 方法 也 可 以 找到 最 优 的 答案 ,但 是 ,找到 答案 
不 是 我 们 的 目的 ,我 们 主要 是 想 通 过 一 个 简单 的 例子 来 理解 禁忌 搜索 是 如 何 进 行 工 作 的 。 
从 距离 矩阵 DD 可 以 看 到 ,这 是 一 个 非 对 称 的 TSP 问题 ,但 是 这 并 不 影响 算法 的 执行 。 由 于 
题目 假设 了 邻 域 构造 的 方式 ,而 且 规 定 了 始点 和 终点 都 是 城市 a, 因此 ,在 以 下 的 求解 过 程 
中 ,我 们 不 使 用 城市 a 和 其 他 城市 进行 交换 ,这样 的 操作 并 不 会 影响 全 局 寻 优 的 能 力 。 

解 : 使 用 禁忌 搜索 算法 求解 例 10. 2 的 前 面 三 代 的 执行 步骤 如 图 10. 8 所 示 。 


步骤 0 : PEIRE i= (abcd) IRATE ER AAS. RANE s 二 而 且 根据 距离 矩阵 可 以 算得 
Js)=1+1+1+1=4 


Ges” AN 交换 be 交换 bd 交换 cd 


步骤 1-1: 在 恕 的 限制 下 构造 解 的 邻 域 4=Ni,H)={ (acbd), (adcb), (abdc), } 


ib Jb 


步骤 1-2 : 计算 邻 域 4 中 每 个 新 解 的 适应 值 f=0.5+5+1+1=7.5 f=1+1+5+1=8 f=1+1+1+1.5=4.5 
选择 其 中 最 好 的 解 j 替 换 解 i, PTA. i=j=(abdc) 
更 新 禁忌 表 三 {(cd)2} ， 这 里 的 2 是 禁忌 长 度 ， 意 思 是 说 未 来 2 代 内 避免 交换 城市 < 和 4d 


步骤 1-3 : 由 于 f(D))=4.5>4=f(s)， 所 以 最 优 解 s 保 持 不 变 


Ges 第 一 个 Hh be 交换 bd 


步骤 2-1 ; 在 五 的 限制 下 构造 解 i 的 邻 域 4=N(i,H)={ (acdb), (adbc),  } 


步骤 2-2 : 计算 邻 域 4 中 每 个 新 解 的 适应 值 f=0.5+1+1+1l=3.5 f=1+l+l+1.5=4.5 
选择 其 中 最 好 的 解 j 替 换 解 i, 所 以 ，i 二 j=(acdb) 
BHT ze H={(cd)1,(be)2} 


步骤 2-3 : 由 于 f(i)=3.5<4=f(s), 所 以 最 优 解 s 更 改 为 当前 最 优 解 s=i=(acdb), H. f(s)=3.5 


Gee Ft eau 


步骤 3-1 : 在 五 的 限制 下 构造 解 的 邻 域 4=N(i, H)={ (acbd), } 


步骤 3-2 : 计算 邻 域 4 中 每 个 新 解 的 适应 值 f=0.5+5+1+1=7.5 
选择 其 中 最 好 的 解 j 替 换 解 i， 所 以 ， 计 j —(abdc) 
更 新 禁忌 表 FH={(bc)1,(bqd)2} ， 注 意 禁忌 对 象 (cd) 现 在 已 经 被 解禁 


步骤 3-3 : 由 于 /f(i)=7.5>3.5=f(s)， 所 以 最 优 解 s 保 持 不 变 
图 10.8 用 禁忌 搜索 算法 求解 例 10.2TSP 前 三 代 的 步骤 图 示 
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在 图 10. 8 所 示 的 执行 步骤 中 ,如 采 算 法 继续 进行 的 话 , 由 于 这 时 只 有 对 和 象 (cd) 不 是 


被 禁忌 的 ,将 会 出 现 从 解 (abdc) 到 解 (abcd) 的 过 程 ,因此 搜索 过 程 出 现 了 循环 ,该 怎么 办 ? 
在 实际 的 应 用 中 ,通过 选择 更 好 的 禁忌 对 象 ,设置 合理 的 禁忌 期 限 ,或 采用 其 他 更 好 的 参 
数 , 都 可 以 避免 循环 的 出 现 , 从 而 提高 算法 的 性 能 。 


[1] 


[2] 


[3] 


[4] 


L5] 


L6] 


L7] 


L8] 


L9] 


[10] 
[11] 


[12] 
[13] 
[14] 


10.3 本 章 习 题 


. 模拟 退火 算法 包括 哪些 基本 要 素 ? 

. 试 上 机 编程 实现 模拟 退火 算法 ,完成 例 10. 1 。 
. 请 举例 说 明 禁 忌 搜 索 算 法 邻 域 生成 的 方法 。 

. 试 上 机 编程 实现 禁忌 搜索 算法 ,完成 例 10. 2。 


本 章 参 考 文献 


N Metropolis, A Rosenbluth, M Rosenbluth, et al. Equation of state calculations by fast 
computing machines. Journal of Chemical Physics, 1953(21); 1087-1092. 


ew nN p 


S Kirkpatrick, C D Gelatt Jr, M P Vecchi. Optimization by simulated annealing. Science, 1983 
(220): 671-680. 
P J M van Laarhoven, E H L Aarts. Simulated annealing: theory and applications. Norwell: 
Kluwer Academic Publishers, 1987. 
DS Johnson, C R Aragon, L A McGeoch, et al. Optimization by simulated annealing; an 
experimental evaluation. Part I, graph partitioning. Operations Research, 1989,37(6); 865-892. 
D S Johnson, C R Aragon, L A McGeoch, et al. Optimization by simulated annealing: an 
experimental evaluation. part II, graph coloring and number partitioning, Operations Research, 
1991,39(3): 378-406. 
Mark Fleischer. Simulated annealing; past, present, and future. in Proc. of the 27" conf. on 
Winter simulation, Arlington, Virginia, United States, 1995; 155-161. 
W Ben-Ameur. Computing the initial temperature of simulated annealing. Computational 
Optimization and Applications, 2004,29(3): 369-385. 
B Hajek. Cooling schedules for optimal annealing. Mathematics of Operations Research, 1988, 
13(2): 311-329. 

H Cohn, M Fielding. Simulated annealing; Searching for an optimal temperature schedule. SIAM 
Journal on Optimization, 1999,9(3); 779-802. 

H Szu, R Hartley. Fast simulated annealing. Phys Lett A, 1987(122): 157-162. 

F Glover. Future paths for integer programming and links to artificial intelligence. Computers and 

Operations Research, 1986(13): 533-549. 

F Glover. Tabu search; part I. ORSA Journal on Computing, 1989(1); 190-206. 

F Glover. Tabu search; part II. ORSA Journal on Computing, 1990(2); 4-32. 

F Glover. Tabu search and adaptive memory programming-advances; applications and challenges. 


Interfaces in Computer Science and Operations Research. Kluwer Academic Publishers, 1996. 


[15] 


[16] 
[17] 


[18] 


[19] 


[20] 


FOF 模拟 退火 与 禁 忆 搜索 |207 


U Faigle, W Kern. Some convergence results for probabilistic tabu search. ORSA Journal on 
Computing，1992 ,4(1) : 32-37. 

S Hanafi. On the convergence of tabu search. Journal of Heuristics, 2000,7(1): 47-48. 

F Glover, S Hanfi. Tabu search and finite convergence. Discrete Applied Mathematics, 2002,119 
(1-2); 3-36. 

R Battiti, G Tecchiolli. The reactive tabu search. ORSA Journal on Computing, 1994,6(2); 126- 
140. 

F Glover,J P Kelly, M Laguna. Genetic algorithms and tabu search: hybrids for optimization. 
Computers and Operations Research, 1995(22); 111-134. 

D Cvijovic,J Klinowski. Tabu search; an approach to the multiple minima problem. Science, 


1995(667):; 664-666. 


普通 高 校本 科 计 算 机 专业 


A.1 名 词 索 引 ( 按 拼音 排序 ) 


0-1 背包 问题 第 1 章 P3 迭代 最 优 更 新 规则 第 5 章 ”P90 

Á 单纯 型 交叉 第 9 章 ”P182 
E 

B 

不 确定 性 算法 第 1 章 P5 F 

不 明确 集合 第 3 章 P35 反问 传播 算法 第 2 章 ”P16 

变异 算 子 第 4 章 P62 反馈 型 网 络 第 2 章 P19 

并 行 遗 传 算法 第 4 章 P68 冯 “。 诺 依 曼 结构 第 6 章 P117 

并 行 构建 第 5 章 P87 负 选 择 算 法 第 7 章 ”P141 

BOA 算法 第 8 章 P157 分 布 估 计算 法 第 8 章 P156 

贝 叶 斯 网 络 概率 模型 第 8 章 P63 FDA 算法 第 8 章 ”P157 

Baldwinian 第 9 章 P181 

边 重 组 交叉 第 9 章 ”P182 G 

C 惯量 权重 第 6 章 P112 
链 式 概 率 模型 第 8 章 P162 

车 间作 业 调 度 问 题 第 5 章 P96 高 斯 概率 模型 第 8 章 ”P164 

车 辆 路 径 问 题 第 5 章 ”P97 高 斯 变异 第 9 章 P182 

齿 形 结构 第 6 章 P117 

COMIT 算法 第 8 章 ”P157 H 

差分 进化 算法 第 8 章 ”P166 Hebb 学 习 规 则 第 2 章 P21 

超 启 发 式 第 9 章 ”P186 后 向 传播 学 习 规则 第 2 章 P22 

D 概率 式 学 习 规 则 第 2 章 ”P22 
后 向 传播 学 习 的 前 馈 型 神 第 2 章 P23 

单 层 感知 器 网 络 第 2 章 ”P17 经 网 络 

Delta(6) 学 习 规则 第 2 章 P21 混合 遗传 算法 第 4 章 P68 

BAe 第 3 章 P35 环 型 结构 第 6 章 P117 


210 计算 智能 


I 连锁 学 习 遗 传 算法 第 8 章 P156 

拉 马 克 310% P181 
J M 
计算 智能 第 1 章 P7 模糊 逻辑 第 3 章 P34 
竞争 式 学 习 规 则 第 2 章 P22 模糊 集合 第 3 章 P37 
进化 神经 网 络 第 2 章 P27 模糊 子 集 第 3 章 P39 
积木 块 假设 第 4 章 ”P57 模糊 关系 第 3 章 Pl 
交配 算 子 第 4 章 ”P61 模糊 推理 第 3 章 ”P42 
精华 蚂蚁 系统 第 5 章 Ps 模糊 规则 第 3 音 P42 
基于 排列 的 蚂蚁 系统 第 5 章 P84 模糊 计算 第 3 音 P45 
加 速 系数 第 6 草 P112 模式 定理 第 4 章 P56 
局 部 版 本 PSO 第 6 章 P116 蚂蚁 系统 第 5 章 Ps 
基于 概率 模型 的 遗传 算法 第 8 章 P156 免疫 算法 第 7 音 ”P132 
基于 最 大 互信 息 的 分 布 估 第 8 章 P162 免疫 遗传 算法 7 ”P146 
计算 法 MIMIC 算法 第 8 章 ”P157 
基于 贝 叶 斯 网 络 模型 的 分 第 8 章 P164 Memetic 算法 第 9 音 P178 
布 估计 算法 meta-Lamarckian 学 习 第 9 章 P184 
基于 交叉 的 局 部 搜索 第 9 章 P182 模拟 退火 10 P196 
基于 智能 体 的 Memetic 算 第 9 章 P190 Metropolis 准则 第 10 章 P197 
法 
禁忌 搜索 4 10 & P201 N 
BER 第 10 章 P203 NP 类 问题 第 1 章 P6 
禁忌 对 象 第 10 章 P203 NP 完全 问题 第 1 音 P6 
禁忌 期 限 第 10 章 P203 

O 
K OneMax 问题 第 8 章 P1160 
Kohonen 学 习 规 则 2% P22 P 
开发 第 5 章 P93 
抗原 第 7 章 P133 P 类 问题 第 1 章 PS 
抗体 第 7 章 ”P133 偏向 探索 第 5 章 P93 
克隆 选择 算法 第 7 章 ”P142 PBIL 算法 第 8 章 P57 
柯 西 变异 第 9 章 P182 
渴望 准则 第 10 FE P203 Q 

前 馈 型 网 络 第 2 章 ”P18 
L 前 债 内 层 互联 网 络 第 2 章 PIO 
旅行 商 问题 第 1 章 P3 全 互联 网 络 第 2 章 P20 
轮 盘 赌 选 择 算法 第 4 章 P60 群体 智能 第 6 章 ”P109 
粒子 群 优化 算法 第 6 章 P108 全 局 版 本 PSO 第 6 章 P116 


淋巴 细胞 第 7 章 ”P134 亲和力 第 7 章 ”P134 


R 


人 工 智 能 

人 工 神 经 网 络 
软 计 算 

人 工人 免疫 系统 
S 


神经 网 络 

随机 比例 规则 
顺序 构建 

随机 拓扑 结构 PSO 
树 状 概率 模型 


T 
梯度 下 降 学 习 规则 
U 


V 


W 


伪 随 机 比例 规则 
文化 基因 


第 1 章 绪论 
中 x 
最 优化 问题 
旅行 商 问题 
0-1 背包 问题 
P 类 问题 


不 确定 性 算法 


NP 类 问题 
NP 完全 问题 
人 工 智能 
计算 智能 


第 1 章 
第 2 章 
第 3 章 
第 7 章 


第 2 章 
第 5 章 
第 5 章 
第 6 章 
第 8 章 


第 2 章 


第 5 章 
第 9 章 


人 .2 


P7 
P14 
P35 
P132 


P14 
P85 
P87 
P118 
P163 


P22 


P92 
P178 


X 


序 对 表示 法 

选择 算 子 

fA BR 
信息 素 全 局 更 新 规则 
信息 素 局 部 更 新 规则 
星 型 结构 

协同 进化 memetic 算法 


Y 


有 监督 学 习 
无 教师 学 习 
遗传 算法 
蚁 群 优 化 算法 
蚁 群 系统 


Z 


最 优化 问题 

Zadeh 表示 法 

最 大 最 小 蚂蚁 系统 
至 今 最 优 更 新 规则 
状态 转移 规则 


名 词 索引 (分 章 排 序 ) 


Optimization Problem 


Traveling Salesman Problem 


Zero/one Knapsack Problem 


Polynomial Problem 


Non- 
Non- 


deterministic Algorithm 


deterministic Polynomial Problem 


NP Complete Problem 


Artificial Intelligence 


Computational Intelligence 


i 
yq 


附录 A 


第 3 章 
第 4 章 
第 5 章 
第 5 章 
第 5 章 
第 6 章 
第 9 章 


第 2 章 
第 2 章 
第 4 章 
第 5 章 
第 5 章 


第 1 章 
第 3 章 
第 5 章 
第 5 章 
第 5 章 


索引 


P38 
P60 
P83 
P93 
P94 
ride 
P187 


P20 
P20 
P54 
P82 
P84 


P2 

P38 
P84 
P90 
P92 


NI NTE oT nal] aya] & | | 


211 


212 


计算 智能 


第 2 章 神经 网 络 (Neural Network,NN) 


中 xX 
神经 网 络 
人 工 神经 网 络 
反 向 传播 算法 
单 层 感知 器 网 络 
前 馈 型 网 络 
前 馈 内 层 互联 网 络 
反馈 型 网 络 
全 互联 网 络 
有 监督 学 习 
无 监督 学 习 
Hebb 学 习 规 则 
Delta(6) 学 习 规 则 
梯度 下 降 学 习 规 则 
Kohonen 学 习 规 则 
后 向 传播 学 习 规 则 
概率 式 学 习 规 则 
竞争 式 学 习 规 则 
后 向 传播 学 习 的 前 馈 型 神经 网 络 
进化 神经 网 络 


第 3 章 ”模糊 逻辑 (Fuzzy Logic,FL) 


中 x 
模糊 逻辑 
多 值 逻辑 
不 明确 集合 
软 计 算 
模糊 集合 
Zadeh 表示 法 
序 对 表示 法 
模糊 子 集 
模糊 关系 
模糊 推理 
模糊 规则 
模糊 计算 


Neural Network 


Artificial Neural Network 


Back Propagation 


Single Layer Perceptron Network 


Forward Network 


Forword Inner-join Network 


Feedback Network 
Full Join Network 


Supervised Learning 
Unsupervised Learning 

Hebb Learning Rule 

Delta Learning Rule 

Gradient Descent Learning Rule 
Kohonen Learning Rule 

Back Propagation Learning Rule 
Probability Learning Rule 
Competitive Learning Rule 

Back Propagation Feed- 


Evolutionary Neural Networks 


Fuzzy Logic 
many-valued logic 
vague set 

Soft Computing 
fuzzy sets 

Zadeh Representation 
Order Representation 
Fuzzy Sub-set 

Fuzzy Relation 

Fuzzy Znfer 


Fuzzy Rule 


it 
a 


Fuzzy Computation 


forward Neural Network 


i 
+ 


= 
F 


Ae J|] e|] e|] eJ wT wT wT wT ovj ovj | 
TININ] e| ojl oJ oJ aI NI oy] oy] e 


第 4 章 遗传 算法 (Genetic Algorithm, GA) 


中 文 
遗传 算法 
模式 定理 
积木 块 假设 
选择 算 子 
轮 盘 赌 选择 算法 
交配 算 子 
变异 算 子 
混合 遗传 算法 
并 行 遗传 算法 


Genetic Algorithm 
Schema Theory 

Building Block Hypothesis 
Selection 

Roulette wheel selection 
Crossover 

Mutation 


Hybrid Genetic Algorithm 


性 
+ 


Parallel Genetic Algorithm 


第 5 章 whee BC Ant Colony Optimization, ACO) 


中 文 
蚁 群 优化 算法 
信息 素 
蚂蚁 系统 
精华 蚂蚁 系统 
最 大 最 小 蚂蚁 系统 
基于 排列 的 蚂蚁 系统 
蚁 群 系统 
随机 比例 规则 
顺序 构建 
并 行 构建 
迭代 最 优 更 新 规则 
至 今 最 优 更 新 规则 
状态 转移 规则 
伪 随 机 比例 规则 
开发 
偏向 探索 
信息 素 全 局 更 新 规则 
信息 素 局 部 更 新 规则 
车 间作 业 调 度 问 题 
车 辆 路 径 问题 


Ant Colony Optimization 
pheromone 

Ant System 

Elitist AS 

MAX-MIN AS 

rank-based AS 

Ant Colony System 

random proportional 
Sequential Construction 
Parallel Construction 
Interative Best Update Rule 
Best-so-far Update Rule 
State Transition Rule 
pseudorandom proportional 
exploitation 

biased exploration 

Global Updating Rule 
Local Updating Rule 
Job-Shop Scheduling Problem 


Vehicle Routing Problem 


性 
a 


附录 A 索引 


54 
56 
57 
60 
60 
61 
62 
68 
68 


213 


214 


计算 智能 


第 6 章 粒子 群 优化 算法 (Particle Swarm Optimization, PSO) 
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第 8 章 分 布 估计 算法 (Estimation of Distribution Algorithms, EDA) 
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第 10 Æ 模拟 退火 (Simulated Annealing,SA) 与 禁忌 搜索 (Tabu Search, TS) 
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